Привет, друзья! В прошлой статье мы разобрали идею применения автоэнкодеров к трансоформерам. Там весь наш pipeline проходил на идее сжатия признакового пространства так, чтобы поделить кошек и собак. Но что делать, если у нас не задача классификации, а задача next token prediction? Да и признаки не соответствуют "собакам" и "кошкам", а охватывают все богатство естественного языка...
Ответ сообщества сейчас такой — давайте использовать SAE. Как? Разбираем основы в статье.
Игрок платит денежную сумму S за игру, после чего подбрасывает честную математическую монетку до тех пор, пока не выпадет решка. Выигрыш игрока составляет , где H - число выпавших подряд орлов.
Легко показать, что матожидание такой игры стремится к бесконечности. С вероятностью 1/2 в последовательности не будет орлов и мы получим за неё 1 рубль. С вероятностью 1/4 выпадет один орел, и это 2 рубля. С вероятностью 1/8 вы получите 4 рубля, и так далее. Матожидание всех этих исходов: 1/2 + 2/4 + 4/8 + ... -> .
Однако вряд ли найдется человек, который согласился бы играть в эту игру даже при S=20.
Какова же справедливая цена игры?Время идет и каждая из областей в МЛ развивается, часто сложно уловить особенности и прорывы в каждом домене. Я предлагаю начать разбирать вглубь RecSys и постепенно отвечать на вопросы: что общего со всеми, а что стало доменным.
Вдохновением стал курс от ШАДа 2025 года, буду использовать оттуда множество чудесных картинок.
Объявим главные вопросы, на который нужно дать ответ, для решения задачи ML-ем. А также, основные проблемы в рексисе о которых нужно думать заранее.
Читать →Я работаю продуктовым аналитиком уже много лет и за это время видел, как рынок несколько раз менял ориентиры. Профессии становились «самыми востребованными», потом перегревались и теряли привлекательность. Если смотреть на происходящее без эмоций и громких обещаний, аналитика остаётся редким примером направления, где вход в профессию остаётся относительно доступным, а ценность специалиста для бизнеса ощущается довольно быстро.
Аналитика не выглядит эффектно со стороны. В ней нет визуального результата, как в дизайне, и нет ощущения инженерной сложности, как в разработке. Зато есть постоянная работа с реальностью продукта: с тем, что происходит с пользователями, деньгами и решениями. Пока компании принимают решения на основе данных, аналитики будут частью этого процесса.
Читать далееВ этой статье я покажу, как с нуля подключить OpenTelemetry в ASP.NET Core проект и получить полноценную наблюдаемость: распределённые трейсы, метрики и логи. Мы не будем углубляться в теорию (что такое спаны/трейсы/метрики и почему это важно) - сфокусируемся на практике.
Мы развернём небольшой "микросервисный" стенд в Docker Compose и после пары запросов увидим в SigNoz полный набор сигналов: трейсы, метрики и логи с корреляцией по trace_id. Все исходники доступны в репозитории GitHub так что каждый шаг можно повторить самостоятельно.
Docker compose up...Привет! Меня зовут Диана Ашумова. Кейс был написан в ноябре 2025 сильно после моего увольнения с позиции Исполнительный директор.В этом кейсе я расскажу, как в зимой-весной 2025 года организовала SEO-работы для plastelo.ru так, чтобы они дали осенью заметный рост видимости в Google — и что важнее, как это было устроено по процессам и управлению, а не “мы поменяли тайтлы и оно взлетело” )))
Сразу оговорюсь: я пришла в эту точку не “с нуля”. У проекта была история, каталог, ссылочный профиль и накопленные технические нюансы. До этого момента я занималась сайтом как senior seo-специалист, но генеральным было согласован бюджет под агентство. Поэтому задача звучала прагматично: не косметика ради косметики, а быстрые и масштабируемые точки роста, которые реально конвертируются в лиды.
Читать далееКаждый, кто хоть раз вводил pip install transformers, наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch, accelerate, bitsandbytes, peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники?
В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
Читать далееВсе началось с банальной задачи: мне потребовалось подобрать имя для игрового персонажа — гнома (dwarf male). Казалось бы, выбор очевиден, но классические имена вроде Торина, Балина или Гимли затасканы до неприличия и давно превратились в дефицит. В виртуальных мирах царит странный парадокс: при всем обилии возможностей геймеры демонстрируют поразительную скудность воображения, пытаясь натянуть на своего персонажа чужую славу. Убедившись, что все каноничные имена уже заняты, я обратился к первому найденному в поиске генератору имен.
И понеслосьВ разных командах разработки наблюдается похожая картина. После внедрения ИИ в процессы он ускоряет не только работу, но и масштабирует уже существующие проблемы.
Мне приходилось внедрять ИИ в продакшн-среду в разных доменах — от классических моделей классификации до разворачивания собственных серверов под локальные LLM и интеграции генеративных моделей для усиления командной работы. В каждом случае вывод оказывался одинаковым.
Большинство инженерных проблем при работе с ИИ по-прежнему лежит в области дисциплины и мышления, а не в технологиях. Поэтому привычные инженерные практики требуют переосмысления.
Читать далееВо второй части руководства для начинающих будет рассмотрено ООП и некоторые другие возможности.
Читать далееНич-чего не понимаю! Или это ностальгический обзор легендарной компьютерной игры «Братья Пилоты» и всех ее продолжений, или одно из двух!
Невозмутимый многомудрый Шеф, забавный расторопный Коллега, неуловимый злодей Карбофос… Отложим мухобойки, сверим часы и вспомним, как появился, чем запомнился и как тихо ушел в небытие один из первых русских квестов.
Читать далееНам обещали, что ИИ заменит инженеров, а дали вежливых чат-ботов, которые галлюцинируют и путаются в зависимостях. Мы потеряли cтруктуру. В этой статье я реанимирую идеи Символистов 80-х и объединяю их с мощью современных LLM.
Это история создания ZervGen - Фреймворка, который превращает ваш Obsidian в живой граф знаний и пишет работающий код для RPG через бесплатные API.
P.S. Ровно два месяца назад, 11 ноября, я сделал первый коммит. Сегодня, 11 января, я показываю, к чему это привело. Совпадение? Не думаю.
Вскрыть архитектуруПримерно год назад я написал статью ChatGPT без VPN за 10 минут (и установка нативного приложения). Хотя она актуальна до сих пор, сегодня я хочу вам рассказать про еще один способ.
Суть: мы делаем свой DNS-профиль в NextDNS или Cloudflare и автоматически актуализируем его раз в сутки.
Для этого я написал небольшую программу. Самое приятное: для ее работы вам не придется ничего устанавливать вообще.
Читать далееВ конце статьи Python скрипт для сохранения заметок.
Последняя шлюпка с «Титаника», чтобы утащить с ЖЖ свои и чужие мысли на жесткий диск, пока «эффективные менеджеры» окончательно не пустили всё на дно.
Я писал свои заметки в ЖЖ более 15 лет. Полтора десятилетия текстов, некоторые из которых даже влетали в топ главной страницы, теша мое самолюбие. Но всему есть предел.
Декабрьские конвульсии администрации — введение сегрегации пользователей, разделение на касты и монетизация каждого вздоха — стали последней каплей. Это больше не дом, это режимный объект с пропусками. Я принял решение об уходе, забирая с собой всё, что нажил непосильной графоманией.
Спасаем заметкиПодробная история открытия и значения радиолинии водорода 21 см. Как сверхтонкий переход, случайность и упрямство учёных подарили нам карту Галактики, доказательства тёмной материи и универсальный эталон для посланий внеземным цивилизациям.
Читать далееВ этой статье я делюсь личным опытом выбора платформы для локального инференса (запуска) LLM. Формат - дневник инженера: детали, цифры и грабли вперемешку с эмоциями и выводами по ходу дела. Это не энциклопедия, и, совершенно точно, не "единственно правильный" рецепт, но, надеюсь, статья сэкономит время тем, кто сейчас решает, на каком железе и каким способом запускать модели.
Для тех, кто не готов погружаться в цепочку событий, сразу зафиксирую итог...
Читать далееКиберспорт - это крупная индустрия, мировой рынок киберспорта в 2025 году оценивается порядка 3,7 млрд. $. Основные статьи доходов на рынке так или иначе связаны с турнирной деятельностью - спонсорство турниров, продажа медиа прав, гонорары.
Однако, есть один крупный игрок, который, на первый взгляд, не вписывается в эту систему, он не только агрегирует у себя 37 миллионов пользователей в месяц со всего мира, но и в некоторой степени заменила официальный матчмейкинг Counter Strike. Как вы поняли из названия, речь идёт о Faceit - мультидисциплинарной киберспортивной платформе.
В этой статье я хочу немного углубиться в историю и разобраться как платформа, созданная в 2012 году, завоевала любовь аудитории и остаётся популярной до сих пор.
Читать далееСоздатель Linux официально присоединился к лагерю тех, кто не стесняется генерить код через AI. Подрыв устоев!
Читать далееПривет Хабр! В этой статье мне бы хотелось рассказать про чистую архитектуру Роберта Мартина. Чистая архитектура это набор правил и идей, которые делают систему независимой от фреймворков, UI, баз данных и любых внешних агентов. Цель — создать систему, которую легко тестировать, поддерживать и изменять. Попытаюсь рассказать вам все кратко и понятно.
Читать далееВ конце 2025 года техноблоги взорвались инсайдами: Google планирует выпустить премиальный ноутбук под брендом Pixel. Но работать он будет не на ChromeOS, как привычные «Хромбуки», и не на Windows.
Кодовое имя инициативы — Aluminium. Новость не обошла стороной и хабр.
Суть проекта как обычно для Google проста и жестока: ChromeOS как отдельная операционная система должна умереть. Будущее — это Android, который научился быть десктопом.
Но прежде чем говорить об Aluminium, нужно понять, почему Flutter стал критичным для всей стратегии Google. И здесь начинается история о том, как устаревший C API чуть не убил будущее кроссплатформенной разработки.
Читать далее