Привет, Хабр! Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме.
В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения и тестирования.
Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Разберемся, как он устроен и насколько эффективен.
Читать далееМеня заинтересовал новый плагин DB Client, который идёт в составе OpenIDE. Давайте посмотрим, может ли он уже на текущий момент стать достойной альтернативой платному DataGrip? Я не предъявляю каких-то узкоспециальных требований к таким инструментам. В основном требуется писать и оптимизировать sql-запросы, просматривать структуру таблиц и диаграмму связей между ними, просматривать актуальный DDL, выполнять мелкие правки данных “на лету”, а также делать импорт и экспорт данных в различных форматах. Давайте по этим пунктам и пройдёмся.
Читать далееPostgreSQL 19 добавляет SQL/PGQ (Property Graph Queries, запросы к графам свойств) на основе стандарта SQL:2023. Графовые структуры можно определить поверх уже существующих реляционных таблиц и запрашивать их синтаксисом сопоставления с образцом. Не нужны новый движок хранения, расширения или миграция данных.
Читать далееАлготрейдинг постепенно вырастает из эпохи «пересечений скользящих средних». Классические индикаторы вроде RSI, MACD и EMA — это производные от цены, и они почти всегда запаздывают. Эти сигналы видят все: их обрабатывают маркет-мейкеры, HFT-фонды и десятки тысяч розничных ботов. Преимущество, которое размазано на всех, перестаёт быть преимуществом.
Гораздо интереснее выглядят системы, работающие с самой структурой рынка: объёмом, ликвидностью, зонами принятия и отвержения цены. Именно к этому классу относится аукционная теория — взгляд на рынок как на непрерывный аукцион, где цена всё время ищет справедливый уровень.
В этой статье разберём полноценного торгового бота, построенного вокруг этой идеи. Система строит объёмный профиль (Volume Profile), находит POC в консолидациях, ждёт подтверждающего импульса, торгует ретесты уровней, а перед этим ещё и сама раз в сутки прогоняет walk-forward отбор монет — торгует только то, что было прибыльным на недавней истории.
Отдельно подчеркну то, ради чего половина этой архитектуры вообще существует: бэктест здесь устроен так, чтобы ему можно было верить. Тем же кодом, что считает историю, работает и live. Заглядывание в будущее исключено по построению, а не «вроде бы учтено».
Весь код выложен на GitHub — как обычно, крайне советую читать статью параллельно с исходниками, здесь я разбираю в основном логику и нюансы, а не каждую строчку.
Читать далееВ «Ростелекоме», как в любом крупном корпоративном контуре, SAST-поток исчисляется тысячами срабатываний. Ручной триаж перестает быть инженерной работой и становится конвейером. Привет Хабр, меня зовут Юрий Туманов, я AppSec-инженер в блоке ИБ «Ростелекома». Хочу рассказать о том, как я выполнял инференс на локальных моделях, в полной цифровой изоляции от внешнего мира.
Все числа получены на конкретном корпусе, модели и наборе промптов; внутренний контур, названия систем, пути и значения секретов обезличены. Это не бенчмарк «LLM пыротив SAST», а отчет о том, где локальная модель реально помогает, а где честно отдает работу человеку.
Читать далееДоговоры сопровождают все ключевые процессы компании. Каждая сделка, партнерство, закупка или наём сотрудника начинаются с подписания документа. Но когда в компании ежемесячно проходят десятки и сотни бумаг, ручное управление замедляет работу отдела. Юристы тратят часы на рутинную проверку вместо работы с более важными задачами, возникают риски потерять версию, сорвать сроки согласования, пропустить критичные условия.
Конкурентоспособность бизнеса напрямую зависит от скорости принятия решений. Медлить в работе с контрагентами — значит отдать рынок более технологичным игрокам. В статье разберем, как устроена работа с договорами и на что смотреть при выборе решения.
Читать далееКак часто нам приходится читать в бюллетенях безопасности «Уязвимость... позволяющая нарушителю выполнить произвольный код с помощью специально сформированного запроса». Но что на самом деле скрывается за этой фразой? Что это за специальные запросы и как наша программа может выполнять чужой код, если мы досконально знаем в ней каждую строчку и каждую библиотеку?
И почему тогда Apple платит до двух миллионов долларов за одну найденную уязвимость и выстраивает многоуровневую аппаратную защиту — а айфоны всё равно взламывают по нажатию одной кнопки?
Всё дело в том, что сами атаки стали другими. Когда инженеры перекрыли большинство очевидных ходов, хакерам пришлось изменить сам подход к взлому. Вместо поиска лазеек они научились брать легитимные вычисления программы и строить поверх них... виртуальный процессор. Даже стандартную функцию вывода текста printf удалось превратить в Тьюринг-полный интерпретатор — то есть вычислитель, способный выполнить любой алгоритм.
Перед нами — Data-Only атаки, где взлом превращается в программирование на «невидимом» процессоре. Процессоре, команды которого — лишь побочный эффект работы нашей собственной программы.
Но чтобы понять, как мы здесь оказались, придётся вернуться на двадцать лет назад.
Читать далееПривет, меня зовут Дмитрий Ботов. Я руковожу AI Talent Hub, магистратурой по искусственному интеллекту в ИТМО, которую мы четыре года назад создавали как гибкую проектную среду без единой траектории для всех.
За это время рынок изменился быстрее, чем образовательные стандарты и названия профессий. ML Engineer долго был нашей главной ставкой, но сегодня компаниям всё чаще нужны специалисты, которые умеют не только работать с моделями, но и встраивать ИИ в продукты, процессы и бизнес.
В статье расскажу, что происходит с привычными ролями, какие профессии выходят на первый план, что на это влияет и почему мы уже сейчас обновили карту ролей в магистратуре, чтобы готовить магистрантов к рынку 2028 года.
Читать далееПривет, Хабр!
На связи Александр Уваров, я ведущий архитектор систем информационной безопасности в «Гарде».
Еще несколько лет назад шифрованный трафик был скорее исключением. Сейчас весь внешний трафик компании идет по зашифрованным каналам. Например, через HTTPS на уровне приложений или VPN на уровне сети. Внутри корпоративной сети, по нашим оценкам, зашифровано 70–80% трафика. Пользователям это удобно и безопасно, а для ИБ-команд это означает, что анализировать содержимое трафика напрямую уже не представляется возможным.
Расшифровать весь TLS-трафик звучит как очевидное решение проблемы, но на практике это дорого и технически болезненно. Хорошая новость — зашифрованный трафик оставляет след. На каждом этапе атаки в сетевом трафике появляется узнаваемый паттерн, который видно в метаданных сессий даже без расшифровки.
Под катом — метрики для детектирования четырех типичных этапов атаки. В статье я разобрал, на что смотреть и где чаще всего могут возникать ложные срабатывания.
Читать далееЯ работаю специалистом по кибербезопасности. По работе мне регулярно приходится анализировать сетевые взаимодействия, разбираться в устройстве различных сервисов, искать нестандартные решения и понимать, как устроены системы, о существовании которых обычный пользователь даже не задумывается.
Забавно, но именно эти профессиональные навыки неожиданно пригодились мне... при строительстве собственного умного дома.
Безопасность и приватность – главные столпы self-hosted систем. Но что делать, если критически важные камеры застройщика доступны только через облачный костыль RTSP.RU, а ссылки на потоки меняются быстрее, чем вы успеваете налить кофе? Подключать их «в лоб» во Frigate – верный способ забить CPU декодированием и ловить постоянные обрывы.
Под катом – подробный разбор того, как разобрать логику работы облачного плеера, вытащить скрытые HD/SD потоки, построить стабильный RTSP-мост и заставить Home Assistant открывать шлагбаум и выводить видеодомофон на настенную панель, используя только локальные ресурсы.
Читать далееВышло 2 модели prism-ml/Ternary-Bonsai-27B-gguf и prism-ml/Bonsai-27B-gguf
Модели представлены в 2-битном и 1-битном вариантах и занимают всего 7,2 и 3,8 ГБ соответственно. Но самое интересное здесь не размер, а качество после столь агрессивного сжатия. По заявленным результатам, 2-битная версия сохраняет около 95% качества FP16, а 1-битная - примерно 90%.
Благодаря столь компактному размеру 1-битную модель можно запускать даже на смартфонах. Например, на iPhone 17 Pro Max скорость генерации достигает примерно 11 токенов в секунду.
Для запуска потребовался форк PrismML-Eng/llama.cpp. На RTX 3090 мне удалось получить около 60 токенов в секунду. Скорость вполне достойная, однако потребление видеопамяти меня не устроило: при контексте в 256 тысяч токенов 2-битная версия заняла около 18 ГБ VRAM. В это значение входят примерно 3 ГБ, используемые Windows 11.
Я привык работать с TurboQuant версиями llama.cpp, которые заметно эффективнее расходуют память, при использовании параметров: -ctk tbqp3 -ctv tbq3 объём памяти занимаемый контекстом, сокращается в 4.71 раза. При этом качество такого сжатия контекста, согласно результатам тестов, оказывается примерно на 8% выше, чем у F16.
Читать далее9 июля вышло в общий доступ семейство моделей GPT-5.6, которое принесло массу полезных изменений, актуальных как для бизнеса, так и для личного использования. О том, что именно реализовала OpenAI и как приобрести подписку Chat GPT в России — расскажем прямо сейчас.
Читать далееОбучил multi-label классификатор на 15 классов для модерации Discord-сообщества, получил micro F1 = 0.9358 — цифра, с которой можно закрывать задачу и не разбираться дальше. Но стоило посмотреть на precision и recall по каждому классу отдельно, как выяснилось: recall на TOXIC — около 0.78, а для части редких меток test split вообще не подтверждает качество — положительных примеров там почти нет. Разбираю на реальных цифрах и коде: почему агрегированная метрика такое скрывает, как считать вес классов через pos_weight при сильном дисбалансе, почему checkpoint стоит выбирать по macro F1, а не по training loss, и где принцип «чем проще — тем лучше» перестаёт работать при оценке качества классификатора.
ПодробнееИнтеллектуальные агенты плотно вошли в нашу жизнь и работу. Но с ними есть проблема: до сих пор нет единого понимания, кто или, вернее, что имеется в виду под этим термином. Между тем вопрос не праздный — если понятие вошло в нормативные акты, значит, нужно понимать, какие системы оно охватывает, чем они отличаются от просто «агентов» или других ИИ-решений и где вообще проходят границы регулирования.
Ведущий специалист Отдел исследований и разработки АО «Гринатом» Валерий Поздняков провёл не один час за ГОСТами, законами и другими документами, чтобы разобраться — кто же всё-таки он, наш искусственно интеллектуальный коллега?
Читать далееВ принципе, давно известно, что транзакции в криптовалюте можно отследить. Но обычно мы не заморачиваемся разбором того, как это работает и какие инструменты для этого нужны. Мы просто ими пользуемся.
Сразу оговорюсь, что речь тут не о USDT, который отслеживается по дефолту. Речь о классике блокчейна: BTC, ETH, LTC...
Скажем так, паспортные данные и домашний адрес владельца при использовании методов OSINT в первом приближении вы вряд ли получите. Но понять как она двигалась, куда, в каких объемах и сколько средств на целевых кошельках, вы сможете. Дальнейшая систематизация и анализ полученной информации — исключительно ваша заслуга. Или факап? Как получится, короче говоря.Для более детального, подробного анализа нам может не хватить законных полномочий. Законы о защите персональных данных — штука такая... Топтаться же по поляне специализированных государственных учреждений — себе дороже.
Читать далееЕсли у компании падают продажи, то маркетологи и сейлзы начинают обвинять друг друга. Сейлзы говорят, что им дают плохой продукт и плохие лиды. Маркетологи говорят про высокую конкуренцию и некачественную обработку лидов. Тут еще на сцену выходят продакты и валят на тех и других. В этом лонгриде опишу рабочее решение и разберу наш кейс.
Читать далееЭта история началась не с продуктовой сессии, не с исследования рынка и даже не с запроса заказчиков. Отправной точкой стала встреча с коммерческой командой.
Коллеги из отдела продаж искали способ быстрее оценивать внешний периметр потенциальных заказчиков перед демонстрацией MULTISTATUS — сервиса геораспределённого мониторинга доступности веб-ресурсов.
В результате появился инструмент, который сначала помогал демонстрировать продукт заказчикам, а затем оказался полезен и для задач информационной безопасности. Рассказываем, как это произошло и как в этом помогла бот-ферма одного из разработчиков.
Читать далееВ 1946 году чиновник из Пуэрто-Рико Теодоро Москосо придумал схему, которая позволит в будущем компании Hilton Hotels (а после Hilton International) развивать свою международную сеть отелей за счет пенсионных фондов, льготных кредитов и денег налогоплательщиков разных стран.
В этой статье мы вместе с вами будем разбираться в бизнес-модели компании Hilton, а также в истории одного отеля на Кубе. Присоединяйтесь, будет интересно и познавательно.
Читать далееOptimistic UI и autosave выглядят как естественное улучшение интерфейса. Хочется, чтобы новый элемент появлялся сразу, текст не терялся, статус сохранения успокаивал пользователя, а редактор не дёргался на каждом символе. Но здесь интерфейс начинает врать. Новый проект уже нарисован в списке, хотя сервер его ещё не подтвердил. Статус показывает saved, хотя это был ответ от старого запроса. updatedAt обновился, хотя запись на сервере не прошла. В какой-то момент становится ясно, что скорость интерфейса и правдивость интерфейса это разные вещи.
В моем учебном проекте Workbench эта граница показана на двух местах. Первое это optimistic create для inline CRUD. Второе это autosave редактора и отдельное демо с requestId. В обоих случаях задача одна и та же. UI должен быть быстрым, но не должен придумывать серверную истину раньше времени. Иначе вместо отзывчивости получается рассинхрон.
Читать далееПо репозиториям на Git часто видно: вложенные пайплайны в GitLab CI остаются редкой экзотикой, а в проде в основном живут линейные сценарии. Тем не менее я убежден, что грамотные downstream'ы прекрасно связывают процессы в единый поток, снимают ручной труд с команды и добавляют архитектуре гибкости. Конечно, запутаться в многоуровневой логике может даже опытный DevOps-инженер или тимлид, но чтобы вы не блуждали в сложной структуре, я подготовил для вас практическую шпаргалку по работе с ними.
Последние несколько лет я занимался сопровождением вендорской разработки, строил CI/CD преимущественно на базе Gitlab CI и мне есть что рассказать. Помните фильм «Начало»? Сегодня он станет нашим наглядным гидом по архитектуре наследуемых пайплайнов и, надеюсь, поможет вам взглянуть на многослойный CI‑конвейер под другим углом.
Погрузиться