Kurgan-Telecom Ru | Информационные технологии

Привет, Хабр! Я Алексей Новаков, ведущий инженер данных в Рунити. Сегодня разберемся, зачем Lakehouse понадобился streaming, почему одного Iceberg для этого не всегда хватает и как Iceberg и Paimon могут жить рядом в одном конвейере.

Если сильно упростить, классический Lakehouse решает понятную задачу: берем дешевое объектное хранилище и добавляем поверх него то, чего не хватало обычному Data Lake — транзакции, schema evolution, snapshots, SQL, update/delete отдельных строк и одновременное чтение и запись.

Но дальше возникает следующий вопрос: что делать, если аналитика должна видеть не вчерашние или часовые данные, а состояние, которое обновляется постоянно?

Именно здесь Lakehouse начинает превращаться в Streaming Lakehouse — или Streamhouse.

«Без труда не вытащишь и рыбку из пруда», как гласит известная пословица, и это в полной мере можно сказать насчёт природных ресурсов: как правило, их добыча сопряжена с определёнными трудностями, ввиду чего частенько возникает ситуация из другой пословицы: «видит око, да зуб неймёт»…

Скажем, возьмём наиболее ценный ресурс, нужный абсолютно всем: чистая вода. Несмотря на свою высокую потребность, встречается она не так часто, как хотелось бы, поэтому люди предпринимают целый ряд усилий, чтобы сделать её пригодной для питья. Такие меры могут включать защиту от механических загрязнителей, защиту от химических загрязнителей, а также удаление биологических загрязнений.

В связи с тем, что первые и третьи встречаются достаточно часто, тогда как вторые (химические, по крайней мере в дикой природе, вдали от городов) не так часто, а избавление от механических загрязнителей относительно простое, хотелось бы остановиться подробнее на последнем — а именно на неожиданном способе избавления от бактериологических загрязнителей, который вряд ли широко известен: обеззараживании высокочастотными импульсными электрическими токами…

Привет! Меня зовут Анастасия и я проектный менеджер и scrum-мастер в Окко. Проектным менеджментом я занимаюсь около семи лет: успела поработать с hardware проектами, CRM-системами, мобильной разработкой, ритейлом.

За последние два года я провела больше ста ретроспектив. Внутри одной команды, между несколькими командами, иногда — в роли приглашенного фасилитатора. В какой-то момент поняла, что ретроспективы научили меня гораздо большему, чем просто опыт фасилитатора встреч — я начала иначе смотреть на саму работу менеджера. 

Раньше мой фокус был классическим: есть проект, сроки, задачи, зависимости и риски. Если что-то пошло не так, нужно понять причину отклонения, перестроить план и вернуть проект в нужную точку. Работа скрам-мастером добавила к этому другой вопрос: почему проблема вообще возникла и почему она возвращается? Разница кажется небольшой, но именно она постепенно перевела мой фокус с управления отдельными задачами на устройство системы, в которой команда эти задачи выполняет.

В этой статье расскажу, что изменилось в моей работе после появления роли Scrum Master, что оказалось самым неожиданным открытием и почему из всех Scrum-ритуалов именно ретроспектива стала самым ценным инструментом?

Привет, Хабр! Меня зовут Андрей, я инженер по подготовке печатных плат к производству в компании ГРАН Груп. Каждый день я открываю новые проекты печатных плат и выполняю их CAM-подготовку для наших производственных площадок так, чтобы после производства наш заказчик получил именно ту плату, которую он задумывал.

И чтобы отправить ту самую заветную хорошую плату, нам нужно поймать ошибки в переданных данных по плате: где-то что-то не дописали, где-то что-то перепутали — и вот уже инженеры тратят время на уточнения и согласования, сроки плывут, а менеджеру приходится звонить и переносить дату отгрузки, которую уже согласовали.

В статье разберём типовые ошибки, которые мы видим в документации, и покажем, как их избежать. Еще до производства, только те ошибки, которых можно избежать до отправки файлов.

Название новой книги Лоуренса Морони — «Искусственный интеллект и машинное обучение для программистов в PyTorch» — на первый взгляд кажется довольно-таки скучным. Создается впечатление, что это очередной учебник по ИИ с использованием Python: в начале немного теории, потом базовые классы, потом еще базовые классы, потом очень базовые классы, и где-то по дороге читателя уже неизбежно потянет в сон.

Но нет: Морони написал совсем другую книгу. Она начинается как учебник по PyTorch, в середине превращается в практический курс по NLP и Transformer, а заканчивается почти полноценным туром по современному генеративному AI.

Привет, Хабр! Продолжаем цикл про инфраструктуру для ИИ-задач. В первой статье мы разбирали стратегический вопрос: что проще и выгоднее — собирать самостоятельно или брать готовый ПАК (на примере ПАК Скала^р)? Поговорили и о том, что именно заказчик узнает о самосборе — не на этапе закупки, а через полгода эксплуатации. 

Сегодня же переместимся на следующий уровень: поговорим про аппаратный стек.

Структура статьи такова: для каждого слоя железа — GPU, питание, охлаждение, хранение — я покажу, какую инженерную задачу мы решали при проектировании ПАК и почему приняли именно такие решения, а не другие. Там, где это уместно, приведем цифры, которые помогут понять пороги: когда одно решение заменяется другим и что это означает по деньгам и по производительности.

Поехали!

На Инфостарте можно найти статьи, примеры кода, обработки, расширения и готовые программные продукты. Внешне публикации могут быть похожи, поэтому Базу знаний и Маркетплейс иногда воспринимают как два раздела одного каталога.

На самом деле они решают разные задачи и рассчитаны на разные сценарии использования.

Меня зовут Виктория Третьякова, я руковожу направлением Инфостарт Маркетплейс. Расскажу, чем отличаются эти форматы и почему важно учитывать эту разницу при выборе решения.

Вы прошли долгий путь от выбора WAF (Web Application Firewall) и согласования бюджета до финальной интеграции решения в инфраструктуру. Казалось бы, можно выдохнуть. Но именно здесь начинается самая важная часть работы – и именно на этом этапе спотыкается большинство команд. Даже если был проведен успешный пилот, боевая эксплуатация все равно преподносит сюрпризы. В этом посте разберём, почему «поставил и забыл» – это не лучший подход для WAF (да и для большинства ИБ-решений), как правильно подключать приложения к защите после интеграции и как в итоге понять, что всё работает как надо?

Travel-индустрия не прощает простоев — каждая минута простоя может стоить бизнесу клиента. Как сделать так, чтобы большая инфраструктура работала 24/7 с минимальными простоями? В Туту мы пришли к мультиклауду не за один шаг. 

Привет, Хабр! Меня зовут Андрей Борзов, я в Туту работаю с 2012 года — отвечаю за то, что… сайт работает. Мои команды занимаются железом, сетью, делают облака, занимаются отказоустойчивыми кластерами ВМ в облаках, а также готовят системы мониторинга.

В этом материале по мотивам выступления на конференции K2 Cloud Conf 2026 хочу рассказать об отказоустойчивости в мультиклауде — о том, как мы строим инфраструктуру Туту, зачем используем несколько облаков и собственные площадки и что происходит, когда что-то начинает ломаться.

В США больше 5000 дата-центров — в десять с лишним раз больше, чем в любой другой стране. На американские компании приходится почти 90% мирового экспорта облачных услуг. Остальной мир строит свои «национальные стратегии ИИ» на арендованных мощностях.

Всем привет! На связи Михаил Поливаха, технический лидер проекта Axelix.

Java переехала на шестимесячный релизный цикл уже довольно давно. Каждые полгода мы получаем новую версию, читаем про очередные JEP, смотрим доклады с конференций. Потом возвращаемся на работу и продолжаем писать примерно тот же самый код, который писали пять лет назад.

И это, кстати, не обязательно плохо. Тащить новую фичу в production только потому, что она новая, не самая выдающаяся инженерная стратегия. Более того, многие приложения всё ещё работают на Java 17, а где-то бодро живёт и Java 11.

Но отсюда возникает закономерный вопрос:

Есть ли у новых возможностей Java применение в обычных, реальных приложениях? Не в презентации, не в игрушечном pet project, а в коде, который решает вполне конкретную задачу?

Да, есть.

Привет, Хабр! Меня зовут Екатерина Наконечная, я продакт-менеджер в Lenta tech (ИТ-бренд «Группы Лента»). На маркетплейсах можно бесконечно изучать карточки товаров, отзывы и цены конкурентов, но этого недостаточно, чтобы понять: на какие товары спрос растет и что стоит добавить в ассортимент. В ретейле выигрывает тот, кто быстрее и точнее выводит на полки товары, нужные покупателям именно сейчас. Интуиция важна, но без оперативной аналитики легко ошибиться.

Так, наша служба продвинутых технологий (СПТ) вместе со службой коммерции успешно апробировала решение «ИИ Платформа Тренды». Данный продукт собирает в одном интерфейсе продажи, поисковый спрос, отзывы, рейтинги и динамику по товарам на Ozon, Wildberries и Яндекс.Маркет, а затем помогает отфильтровать позиции с потенциалом.

В этой статье я расскажу о том, как я чинил и модернизировал довольно редкий и несколько необычный советский радиоприемник «Электроника 26–01», и о том, какую «тайну» скрывает его управляющая микросхема.

7 лет назад я опубликовал в npm свою первую библиотеку — custom‑border‑mixin. Тогда я на неделю пропал, просто чтобы в своё удовольствие написать SCSS‑миксин. Если вам интересно, что весёлого может быть в SCSS, просто посмотрите на хелпер:

Привет! Я Денис, старший бэкенд-разработчик в Selectel. В предыдущих частях мы познакомились с архитектурой Apache Iceberg, а также развернули и настроили каталог метаданных.

Итак, у нас есть данные в S3‑хранилище, аккуратно организованные средствами Iceberg, и каталог, который знает расположение актуальной версии каждой таблицы. Казалось бы, все готово. 

Однако при ручном просмотре S3-бакета ничего похожего на таблицу не обнаружится — видны лишь вложенные папки с Parquet-файлами и JSON-метаданными. Да, Iceberg и каталог решили задачу хранения и версионирования, но не ответили на вопрос, как читать эти данные с помощью SQL.

И вот возникает практическая задача: как аналитику или инженеру обратиться к Iceberg-таблице посредством SQL, не поднимая Spark-кластер и не перенося данные в отдельную СУБД?

В 1959 году энтомолог Пьер-Поль Грассе проводил небольшое исследование того, как термиты строят себе жилища — термитники, которые достигают высоты в несколько метров. Каждое из насекомых таскало глину и клало ее в определенное место, которое изначально выбрал предводитель роя. Благодаря общему делу термитники были детально проработаны, там были даже вентиляционные каналы и подвалы. 

Это явление было названо стигмергией — координацией существ через изменение среды. Десятки лет спустя несколько исследователей из MIT воссоздали тот же механизм в цифровом мире. Однако вместо термитов у них были ИИ-агенты, и построили они не гигантский термитник, а технологическую цивилизацию. О результатах эксперимента мини-терминаторов и о том, чему нам, людям, нужно научиться у LLM, рассказываю в статье.

Одно пустое сообщение в Telegram могло привести к утечке переписки — при открытии HTML‑экспорта. Telegram отказался согласовать публичное раскрытие.

Разбираем причину уязвимости, показываем переписку с вендором и объясняем, почему обновление клиента не исправляет старые экспорты.

Ну, привет.

В январе мы разбирали пять привычек, которые звучат разумно, а на деле мешают: дженерики на каждый параметр, Arc<Mutex>

Пока их читал, до меня дошло, чего не хватало той статье. Все пять историй по сути про одно и то же, просто я тогда этого не увидел. Мы везде платим сейчас за что-то, что, скорее всего, не случится никогда. Строим абстракцию под вторую реализацию. Обобщаем под тип, который никто не подставит.

Сегодня — ещё пять таких же «лучших» практик. Трейт на случай смены базы. Лайфтаймы в структурах ради аллокаций, которые никто не считал. Строка #[derive(...)], которую копируют не глядя и однажды сливают пароль в лог. Newtype на каждое число. И оптимизации, которые воткнули до того, как кто-нибудь вообще открыл профилировщик.

Мыло дьявольски эффективно против бактерий, отрывает и удаляет больше 90% из них. Больше 99%, кстати, нельзя по договору, иначе они станут забираться на бутерброды в первые 3 секунды после падения.

Почему мыло такое дикое? Потому что оно отлично растворяет жир. А жир есть в мембранах бактерий, в том числе в наружной мембране грамотрицательных, и особенно в липидной оболочке некоторых вирусов. Вот по ним ПАВ бьют прямой наводкой. Мыло растворяет и часть нашего защитного барьера — он тоже жировой, — но микробиом страдает сильнее.

Исторически мыло всегда дико сушило кожу. Потом научились настраивать рецепты так, чтобы оно всё меньше становилось мылом и всё больше было похоже на мицеллярную воду. Если что, мицеллярная вода от мыла отличается концентрацией действующих веществ и иногда адресными растворителями для косметики.

Так вот, руки можно мыть и маслом. Жир можно растворять в другом жире, и разница между нашим жиром и жиром бактерий тут как раз играет роль. Жирорастворимую грязь можно собрать в кучу и помочь воде унести её без лишнего.

Грязь — это кожное сало, остатки солнцезащитных фильтров, пыль, частицы городской среды и всё то, что плохо дружит с водой. Плюс мёртвые клетки и межклеточные липиды (церамиды, холестерин, жирные кислоты).

Но прежде чем мы пойдём дальше, сначала расскажу, как работают обычные ПАВы в мыле и шампунях и почему они сейчас заменяются на всё более мягкие. Начнём с поляризации молекул, которые с одного конца гидрофобные. Механизм красивый. Гидрофобные «хвосты» молекул мыла, спасаясь от воды, вклиниваются в липидную оболочку микроба и расшатывают её, как ломик, пока вся конструкция не разваливается, а обломки уносятся водой в кучках-мицеллах.

Сейчас vibe coding обычно означает: описал задачу для нейросети и получил готовый код.

Но я понял, что у этого выражения есть и другой смысл. Им вполне можно описать часть работы руководителя.

Когда в команде такая атмосфера, что можно высказывать разные мнения, спорить по существу, показывать сырой результат, задавать «глупые» вопросы и честно говорить о рисках.

И при этом — отвечать за качество.

Это не про дружбу, корпоративы или обязательный позитив. Хороший вайб — часть инженерной системы. Он влияет на качество решений, предсказуемость релизов и на то, смогут ли специалисты работать долго, качественно и не выгореть за полгода.