Habr.com

Syndicate content Хабр
Все публикации подряд на Хабре
Updated: 59 min 57 sec ago

Adaptive Query Execution в Spark 3: как умная оптимизация покончила с ручными танцами с бубном

Wed, 11/19/2025 - 18:00

Представим ситуацию: мы спланировали маршрут до точки назначения, предположили, по какой дороге будет быстрее добраться, даже вспомнили, где обычно бывают пробки, чтобы их объехать. Но, неожиданно, на самом свободном участке образовался затор из‑за аварии в правом ряду. В этот момент понимаем, что лучше бы мы ехали по навигатору, и какая‑нибудь «Анфиса» предупреждала о дорожной ситуации, чтобы в определенный момент можно было изменить траекторию движения. Именно так годами чувствовали себя пользователи Spark, когда их красиво оптимизированные запросы наталкивались на суровую реальность распределенных данных.

Читать далее

От форумов и аськи до Zoom и Telegram: как менялось общение в сети последние 30 лет

Wed, 11/19/2025 - 17:43

Аська, Skype, первые групповые чаты — всё это было частью нашей цифровой молодости. Я собрал ностальгическую историю о том, как менялись технологии и наши привычки интернет-общения за 30 лет.

Читать далее

Обзор Cherry Studio: визуальная разработка AI-решений с BotHub

Wed, 11/19/2025 - 17:40

Конец 2025 года — рынок инструментов для работы с ИИ усложнился. Появились клиенты, локальные рантаймы, облачные провайдеры и десктопные приложения, которые объединяют несколько источников. В такой среде привычный вопрос — не «что круче», а «какая связка эффективнее в конкретной задаче».

В этой статье мы рассмотрим Cherry Studio как рабочий десктопный клиент и BotHub как пример бэкенда/поставщика моделей, покажем, где и как их связать, и дадим практические промты и кейсы, которые можно повторить.

Будет интересно. Приятного чтения!

Читать далее

Как оптимизация перформанса Debezium JDBC Sink Connector помогла улучшить Open-source версию решения

Wed, 11/19/2025 - 17:26

Debezium — популярный фреймворк для Change Data Capture (CDC), позволяющий отслеживать изменения в источниках данных (таких как базы данных) и передавать их в потоковые платформы вроде Apache Kafka. Одним из компонентов Debezium является JDBC Sink Connector, предназначенный для записи данных из Kafka в реляционные базы данных посредством интерфейса Java Database Connectivity (JDBC). 

Debezium JDBC Sink Connector может решать множество задач: от репликации данных между БД и синхронизации обновлений между микросервисами до создания резервных копий данных для целей тестирования или разработки. Мы в VK Tech используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Но в нагрузочных тестах столкнулись с проблемой производительности, которая не решалась никакими обходными путями. Поэтому нам пришлось детально погрузиться в нюансы обработки событий в Debezium JDBC connector.

Привет, Хабр. Меня зовут Артём Дубинин. Я старший разработчик Backend в команде Tarantool CDC — решения для репликации данных в реальном времени между системами управления базами данных (СУБД). В этой статье я изложу свою интерпретацию создания Debezium, расскажу о том, как работает Debezium JDBC connector, а также о нашем варианте оптимизации перформанса, который попал в Open-source версию.

Читать далее

Как оптимизация перформанса Debezium JDBC Sink Connector помогла улучшить Open-source версию решения

Wed, 11/19/2025 - 17:26

Debezium — популярный фреймворк для Change Data Capture (CDC), позволяющий отслеживать изменения в источниках данных (таких как базы данных) и передавать их в потоковые платформы вроде Apache Kafka. Одним из компонентов Debezium является JDBC Sink Connector, предназначенный для записи данных из Kafka в реляционные базы данных посредством интерфейса Java Database Connectivity (JDBC). 

Debezium JDBC Sink Connector может решать множество задач: от репликации данных между БД и синхронизации обновлений между микросервисами до создания резервных копий данных для целей тестирования или разработки. Мы в VK Tech используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Но в нагрузочных тестах столкнулись с проблемой производительности, которая не решалась никакими обходными путями. Поэтому нам пришлось детально погрузиться в нюансы обработки событий в Debezium JDBC connector.

Привет, Хабр. Меня зовут Артём Дубинин. Я старший разработчик Backend в команде Tarantool CDC — решения для репликации данных в реальном времени между системами управления базами данных (СУБД). В этой статье я изложу свою интерпретацию создания Debezium, расскажу о том, как работает Debezium JDBC connector, а также о нашем варианте оптимизации перформанса, который попал в Open-source версию.

Читать далее

[Перевод] Нативный API Versioning в Spring 7: долгожданная официальная поддержка

Wed, 11/19/2025 - 17:25

Команда Spring АйО подготовила перевод статьи о том, как Spring Framework 7 приносит нативную поддержку API-версионирования — темы, которая годами оставалась на разработчиках и собирала тонны костылей. Теперь Spring Framework предлагает единый, продуманный механизм как для серверной, так и для клиентской стороны. Что это меняет для архитектуры и разработки на Spring — разберёмся в статье.

Читать далее

Второй мозг для автора — собираем экосистему из нейросетей и заметок

Wed, 11/19/2025 - 17:15

Второй мозг для автора — собираем экосистему из нейросетей и заметок

Привет, Хабр! Эта статья - результат совместного труда двух авторов. В своей карьере мы перепробовали много различных методик. Мы искали способы «вытаскивать» мысли из головы в цифровое пространство, где их удобнее структурировать, чтобы затем превратить в связный живой текст. Делимся своим опытом работы с инструментами написания и редактирования текстов, среди которых есть как проверенные временем, так и появившиеся сравнительно недавно.

Узнать больше

Как найти проблемный участок кода в 1С, если появилось сообщение «В данной транзакции уже происходили ошибки»

Wed, 11/19/2025 - 17:13

Сегодня поговорим о довольно частой ошибке. Не все специалисты знают, как ее пофиксить. Это статья моего коллеги Андрея Бурмистрова, эксперта в сфере оптимизации производительности 1С. Разработкой на платформе «1С:Предприятие 8» Андрей занимается уже более 10 лет и знает нюансы. Он расскажет, когда возникает такая проблема и рассмотрит способы решения.

Читать далее

[Перевод] Генерация BPMN с помощью LLM в диалоговом режиме: эксперименты и выводы

Wed, 11/19/2025 - 16:49

Авторы свежей научной работы попробовали заставить обычные открытые LLM (от 1B до 70B) генерировать валидный BPMN-XML прямо в чате по текстовому описанию процесса.

Если вкратце, то без дообучения — полный провал. 80% токенов тратится на XML-мусор, модели сыплются на синтаксисе, забывают ветки и галлюцинируют теги. Работает только на больших моделях и то не очень хорошо.

Но вроде просматривается рабочий вариант для генерации BPMN — берем 7–13B модель, дообучаем через LoRA/QLoRA на нормальном датасете, переходим на компактный JSON вместо XML и добавляем Preference Tuning + CoT. Тогда может быть взлетит.

Читать далее

Пока вы боитесь потерять работу из-за ИИ, бизнес боится потерять вас

Wed, 11/19/2025 - 16:39

В последние пару лет всё чаще можно услышать фразу: «Мы уже не знаем, где искать квалифицированных сотрудников: в России дефицит кадров».

И это касается не только исполнителей: найти опытного руководителя на нынешнем рынке труда тоже непросто. Получается, все эти статьи о том, что ИИ забирает чью-то работу, — частично всего лишь пугалка.

Но что делать бизнесу, если самый простой путь перекрыт?

Читать

Истории из HR-ада: 5 самых нелепых провалов руководителей на собеседованиях

Wed, 11/19/2025 - 16:37

Прилетела мне интересная задача (или инициатива «делает» инициатора) — сделать курс для руководителей, которые не умеют проводить собеседования. Я как человек с «продуктовым мышлением» ессно пошла в анализ. Встретилась с коллегами, друзьями, друзьями друзей и собрала базу кейсов для того, чтобы курс был выстроен по принципу «Ошибка — почему не работает — что делать».

Читать далее

Как создать социальный капитал

Wed, 11/19/2025 - 16:30

Эта статья - ответ на сотни вопросов, которые поступают ко мне после выступлений на конференциях. Ведь все только освоили понимание IQ и Эмоционального интеллекта, но еще не познали самое важное - социальный интеллект, продуктом которого становится социальный капитал. Именно благодаря ему люди получают не только лучшие должности, но и лучшее обслуживание, врачей, помощь в сложные моменты, инвесторов, доступ к самым закрытым дверям и, конечно же, здоровые отношения и кучу обнимашек. И дело здесь вовсе не в том, чей ты сын/муж/любовница, а в упорном труде над собой.

Читать далее

Я победил бессонницу. Рассказываю, что сработало

Wed, 11/19/2025 - 16:21

Привет, хабровчане!

Меня зовут Максим и я SQL разработчик в SENSE. Хочу поделиться тем, как у меня получилось наладить сон и победить бессонницу. За несколько месяцев я протестировал много инструментов, техник и БАДов и собрал то, что работает. Возможно, мои находки пригодятся и вам.

О важности сна сказано тысячи раз, но факт остается фактом — его качество напрямую влияет на настроение, продуктивность, ясность ума и когнитивные функции. В статье я сосредоточился на процессе засыпания и вечерней рутине, потому что именно здесь часто возникают проблемы, особенно у живущих в ритме «экран–кофе–код». Если научитесь правильно готовить себя ко сну и понимать механику вечернего расслабления, то половина битвы с бессонницей уже выиграна.

Читать далее

[Перевод] Как инженер-программист сделал синтезатор для дочери с помощью Arduino и 3D-принтера

Wed, 11/19/2025 - 16:20

На свой первый день рождения моя дочь получила развивающую доску Монтессори, полную переключателей и светодиодов. 

Наблюдая за тем, как она крутит ручки и переключает тумблеры, я вспомнил о панели управления синтезатором и задумался, а можно ли создать музыкальную версию доски Монтессори? Что-то простое, тактильное и креативное, не требующее нажатия кнопок для поддержания звука. 

Год спустя я решился воплотить эту идею в жизнь. И так как у меня не было опыта в создании такого рода устройств, то проект стал для меня поводом изучить микроконтроллеры, САПР, проектирование печатных плат и 3D-печать.

В результате получилась музыкальная игрушка, в которой есть встроенный синтезаторный модуль, динамик, элементы управления темпом, громкостью, тональностью и инструментами (ползунки и «крутилки»), OLED-экран с танцующей пандой. И всё это в корпусе, напечатанном на 3D-принтере.

Прототип вы видите на фото, а демонстрация финальной версии в конце статьи.

Читать далее

Десятки сервисов, продуктовые команды и сцена: как Lamoda меняет карьерные предубеждения разработчиков

Wed, 11/19/2025 - 16:03

Узнали, почему Lamoda — одно из самых недооценённых мест для разработчиков и как компания ломает их карьерные предубеждения.

Читать далее

Книга: «Алгоритмы машинного обучения»

Wed, 11/19/2025 - 15:56

Привет, Хаброжители!

Узнайте тонкости работы алгоритмов ML, чтобы эффективно решать задачи и повы-шать производительность используемых моделей. Познакомьтесь с фундаментальными математическими основами важнейших алгоритмов машинного обучения и вариантами их реализации на Python. Особое внимание уделяется вероятностным методам.

В книге анализируются и объясняются десятки алгоритмов, применяемых в различных сферах, в частности финансах, компьютерном зрении и обработке естественного языка. Каждый алгоритм сначала выводится математически, а потом иллюстрируется кодом на Python, снабженным подробными пояснениями и информативными графиками. Особую ценность представляет данная автором ясная интерпретация байесовских алгоритмов для моделей Монте-Карло и марковских цепей.

Читать далее

Open source понарошку? Продолжающийся переход на source available, а также набирающий обороты феномен openwashing

Wed, 11/19/2025 - 15:53

Недавно мы в Beeline Cloud рассказывали о полезных ресурсах для тех, кто желает влиться в open source и начать контрибьютить. Сегодня поговорим о крайне дискуссионном тренде в данной области — продолжающемся переходе западных open source-компаний на ограничительные лицензии. Кроме того, разберем примеры противоречивого опенсорсинга, когда открытый код на поверку оказывался не таким уж открытым. А в конце материала — поделимся литературой с рекомендациями о том, как эффективно работать с корпоративным open source в подобных условиях.

Читать далее

Пока все вайбкодят, мы продолжаем делать self-hosted базу данных для разработки ERP/LLM-систем

Wed, 11/19/2025 - 15:44

История началась в далеком 2016 году, когда у меня был небольшой свечной заводик. Не свечной, конечно, но все же производство — и нужно мне было на нем сделать автоматизацию. Чтобы компоненты закупались вовремя, списывались со склада в правильном количестве и автоматически планировалось, какие операции делать в рамках рабочего дня. Тогда я впервые подумал, что неплохо бы иметь программируемый конструктор — что-то типа MS Access, но только в web и чтобы логика и запросы программировались одинаково и понятно.

Читать далее

Как проводятся научные исследования: взгляд с высоты птичьего полета

Wed, 11/19/2025 - 15:43

Представьте, что вы хотите купить кухонный комбайн. Продавец показывает вам великолепную коробку с восторженными отзывами: "Спас мою талию и мой брак!". Впечатляет. Но на просьбу открыть коробку и включить устройство вы получаете отказ: "Всё, что вам нужно знать, написано на коробке. Поверьте, это отличный комбайн!".

Какое это имеет отношение к медицинским исследованиям? Прямое. Научная статья часто похожа на такую закрытую коробку. Снаружи все выглядит блестяще, но заглянуть внутрь и увидеть сырые данные, на основе которых сделаны выводы, почти невозможно. Читатель видит лишь то, что авторы решили ему показать.

Подавляющее большинство учёных честные люди, стремящиеся улучшить мир. Однако важно понимать: то, что вы видите на коробке, не всегда полностью соответствует тому, что внутри. И нам нужно научиться это распознавать.

Читать далее

Минцифры ужесточило требования к сайтам IT-компаний: что изменилось и как это коснётся вашего бизнеса

Wed, 11/19/2025 - 15:32

Минцифры установила новые требования к сайтам аккредитованных IT-компаний, которые вступают в силу 21 ноября. Если вы руководите IT-компанией, это касается вас напрямую — рассказываем, что изменилось и как не потерять налоговые льготы.

Читать далее

Who's online

There are currently 1 user and 1 guest online.