Feed aggregator

Как готовить Triton: рецепты вашей собственной Inference-платформы

Habr.com - Thu, 04/17/2025 - 17:03

Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. Если вам нужно запустить небольшой инференс одной ML-модели, можно взять команду бэкендеров, дать им эту модель, они обернут ее в эндпоинт — и готово. Достаточно короткого скрипта из нескольких строк на Python. Но что если нужно запускать несколько моделей, оптимизировать выполнение, работать с ансамблем моделей, задействовать CPU и GPU одновременно и т. д.? Все эти проблемы решает NVIDIA Triton Inference Server. Правда, он добавляет одну новую: разобраться с ним и его документацией — тот еще квест.

В статье посмотрим, насколько сложной задачей может оказаться создание собственного инференса и какие аспекты нужно учитывать. Научимся запускать различные форматы моделей, посмотрим на основные фичи Inference-платформы Selectel, запустим несколько популярных LLM и моделей, а также познакомимся со способами оптимизации конфигурации и проектирования интерфейса для модели. Читать дальше →

Почему малый бизнес хочет окупаемость рекламы и умирает, а крупный бизнес тратит миллионы на brand search и растет

Habr.com - Thu, 04/17/2025 - 17:02

Если кто-то говорил про медийную рекламу и цену за охват, я про себя улыбался. Мою-то работу можно посчитать до денег в кассе, а охват на хлеб не намажешь.

Читать далее

General Purpose Media Interface (GPMI): китайский ответ HDMI и DisplayPort. Что это за технология?

Habr.com - Thu, 04/17/2025 - 17:00

Представьте технологию, благодаря которой один-единственный кабель способен передать изображение в 8K, звук, данные, интернет и даже зарядить ваш ноутбук мощностью до 480 Вт. Это не фантастика, а реальность. У нее есть даже название — General Purpose Media Interface (GPMI).

Китайские разработчики представили новый стандарт в апреле 2025 года. Разработала его не одна компания, а крупный альянс Shenzhen 8K UHD Video Industry Cooperation Alliance, куда входит более 50 технологических гигантов, включая Huawei, TCL и Hisense, GPMI. Но что это за зверь такой и сможет ли он действительно вытеснить привычные нам HDMI, DisplayPort и даже USB-C? Давайте разбираться!

Читать далее

PM — Как фильтр для команды

Habr.com - Thu, 04/17/2025 - 16:31

Всем привет!

Сделайте, пожалуйста, это - супер срочно. А вот ещё одна функция, без которой мы жить не можем. А, ну и вот это тоже поправьте, пожалуйста.

Знакомо?

Если да - скорее всего, вы работаете в проекте, где нет фильтрации задач. Или уже пожинаете плоды её отсутствия.

Читать далее

Минусы и плюсы онлайн школы по программированию для школьников: объективный обзор и неочевидные детали

Habr.com - Thu, 04/17/2025 - 16:26

Привет! Вы в блоге «IT для детей», предназначенном для современных школьников и их родителей, которые интересуются темой дополнительного айти-обучения. Анализирую и обозреваю онлайн-школы и курсы, пишу о значимости ответственного подхода к выбору направления учебы, отмечаю не всегда очевидные особенности и аспекты. И да, меня зовут Ксюша. Будем знакомы!

Сегодня хочу поговорить о том, стоит ли вообще IT внимания, если контекст – онлайн-обучение программированию для школьников, но уклон будет немного нестандартным: буду писать о преимуществах и недостатках организаторов дистанционных курсов. При этом не преследую рекламных целей, но и хейтить никого не стану: акцент на объективности. С последним проблем нет: часто обозреваю различные образовательные организации, проверяю их лицензии на предмет актуальности, изучаю свежие отзывы на модерируемых площадках и не только.

Начнем с трендовости уроков программирования и информационных технологий как сферы в целом.

Читать далее

[Перевод] Обзор CUDA: сюрпризы с производительностью

Habr.com - Thu, 04/17/2025 - 16:25

Наверное, я очень опоздал с изучением CUDA. До недавнего времени даже не знал, что CUDA — это просто C++ с небольшими добавками. Если бы я знал, что изучение её пойдёт как по маслу, я бы столько не медлил. Но, если у вас есть багаж привычек C++ , то код на CUDA у вас будет получаться низкокачественным. Поэтому расскажу вам о некоторых уроках, изученных на практике — возможно, мой опыт поможет вам ускорить код.

Читать далее

Можно ли реализовать обучение онлайн детей 7 лет на курсах программирования?

Habr.com - Thu, 04/17/2025 - 16:15

Привет! Я Ксюша, пишу статьи для блога «IT для детей» и делаю это для современных школьников и их родителей, интересующихся вопросами по поводу дополнительного обучения. Предлагаю обзоры курсов и частных школ программирования, часто касаюсь злободневных тем и стараюсь говорить просто о сложном.

Сегодня к вопросу по поводу онлайн-обучения программированию современных 7-летних детей: многим кажется, что это неразумно и даже абсурдно, но практика множества частных школ подтверждает обратное. Вместе с тем стоит понимать, что погружение в информационные технологии и развитие младшего школьника в данном направлении стоит строить предельно аккуратно, ведь только в этом случае удастся добиться выраженных образовательных результатов. Антитеза – слепая запись в онлайн-школу программирования для детей 7 лет лишь потому, что это трендово и хайпово.

Читать далее

Пробуем Codex CLI от OpenAI для доработки ХрюХрюКара

Habr.com - Thu, 04/17/2025 - 15:58

Пару дней назад я опубликовал статью про ХрюХрюКар - телегам-бот для борьбы со стоянкой автомобилей на зелёных зонах. Проект с открытым исходным кодом.

За два дня ко мне обратилось несколько сторонников с просьбой добавить их города. Но вот незадача: у меня была возможность через админ-панель Django править данные в базе, но об этом кеш сервера не узнает (основной бекэнд на Go). В результате приходилось добавлять данные и перезагружать контейнеры с go-бекэндом вручную.

Основные серверы ХХК уже имели сторы, которые получают и обрабатывают апдейты, прилетающие через redis.

По сути, оставалось внести правки в часть django-бэкенда, чтобы обрабатывать сигналы pre_save и pre_delete, сериализовать данные и отправлять их в нужный канал редиса.

Решил поручить эту задачу Codex CLI, которую вчера OpenAI представили нам с вами. 

Читать далее

Книга: «Создание фронтенд-фреймворка с нуля»

Habr.com - Thu, 04/17/2025 - 15:54
Привет, Хаброжители!

Мы используем фронтенд-фреймворки каждый день. А понимаем ли мы, что происходит там, под капотом? Книга Анхеля Солы Орбайсеты «Создание фронтенд-фреймворка с нуля» предлагает уникальный подход к изучению этой темы — через практическое создание собственного фреймворка. Автор убежден, что лучший способ понять принципы работы фреймворков — самостоятельно реализовать их ключевые механизмы. Читать дальше →

100 % cover, 0 % спокойствия

Habr.com - Thu, 04/17/2025 - 15:52

Привет, Хабр!

Сегодня я хочу поговорить о том, как мы все иногда очарованы показателями тестового покрытия в Go — и как же часто эти проценты лукаво нам подмигивают. Казалось бы, влепили go test -cover, получили любимые цифры, приближающиеся к 100%, и можно выдохнуть. Но, увы, не всё так радужно, как хочется. На самом деле заветная сотка покрытия далеко не всегда означает, что ваш код действительно покрыт тестами.

Читать далее

Когда вам стоит обратиться к ИТ-юристу? (Возможно, прямо сейчас!)

Habr.com - Thu, 04/17/2025 - 15:46

Где именно юристы пересекаются с ИТ?

Ответ здесь может быть долгим. Тимлиды регулярно принимают решения о выборе технологий и инструментов, менеджеры управляют ИТ-проектами с учетом сроков и бюджета, а разработчики пилят полезные сервисы и фичи. Каждый из них сталкивается с правовыми аспектами своей работы: от проверки лицензий open source компонентов до простого (иногда в кавычках) оформления договора с подрядчиком.  

Часто коммуникация юристов и ИТ-спецов напоминает диалог двух разных миров: технический жаргон встречается с правовыми терминами; планы по запуску прорывных решений — с рядом законодательных ограничений.

Исправить ситуацию (читай: упростить жизнь обеим сторонам) вполне в силах каждого из нас. Во-первых, важно точно знать, когда к юристу стоит сходить (и всегда делать это вовремя), а во-вторых — учитывать несколько несложных принципов взаимодействия с ним.

Оба этих аспекта раскрываем под катом, в формате памятки. 

Читать далее

Ускорить Pandas в 60 раз: проверяем лайфхаки из интернета на реальном проекте и обкладываемся бенчмарками

Habr.com - Thu, 04/17/2025 - 15:25

Привет! Если после заголовка вы решили, что это очередная статья в стиле «Топ-10 способов ускорить Pandas», то не торопитесь с выводами. Вместо топов и подборок предлагаю взглянуть на бенчмарки скорости и потребления памяти в зависимости от характеристик датафрейма и убедиться, что часть советов из статей по ускорению могут оказаться даже вредными. Разберём, какой из способов ускорения нужно пробовать в разных ситуациях, как это зависит от размера датафрейма и как ведёт себя в реальном проекте.

Читать далее

Миллиарды на сотах и борьба с регуляторами: что показали и скрыли в сериале о пионере мобильной связи Яне Стенбеке

Habr.com - Thu, 04/17/2025 - 15:17

В марте вышел сериал «Стенбек» — драма о шведско-американском предпринимателе, который, если верить сценаристам, однажды сел в такси и увидел будущее за сотовой связью. Таксист якобы сам собрал радиотелефон и разрешил Яну позвонить. Так предприниматель смекнул, что это перспективная ниша.

Правдиво? Ну… не совсем. Это ведь художественное переосмысление, драма про семью, бизнес и вред алкоголя. Множество проектов Стенбека невозможно уместить в один фильм или даже сериал. Здесь есть сюжетные линии про запуск мобильной связи в Швеции, но проекты предпринимателя в других странах, в частности в России, создатели сериала обошли стороной. А в нашей стране Стенбек тоже развернулся на ниве сотовой связи. Бренд Tele2 был на слуху до 2024 года, а это было не единственное его начинание. Расскажу о ярком предпринимателе и его телекоммуникационных проектах.

Другие истории про прошлые технологии связи можно посмотреть у меня в телеграм-канале

Читать далее

ПОТРАЧЕНО–2. Как тестировать локализацию переводов, чтобы потом не было стыдно

Habr.com - Thu, 04/17/2025 - 15:02

Привет! В первой статье цикла мы обсудили вводную про локализацию и её особенности. Пришло время поговорить про конкретные проблемы, с которыми можно столкнуться в процессе локализации. А ещё расскажу, как и кем выполнять тестирование.

Читать далее

[Перевод] Астрономы выжали из «Уэбба» максимум, чтобы сфотографировать самые удалённые галактики

Habr.com - Thu, 04/17/2025 - 14:55

С тех пор как космический телескоп имени Джеймса Уэбба начал научную работу, астрономы увидели галактики, существовавшие более 13 миллиардов лет назад. Именно в этот период, известный как «Космические тёмные века», первые звёзды и галактики образовались между 200 миллионами и 1 миллиардом лет после Большого взрыва. К сожалению, свет этого периода мы видим только в виде реликтового излучения, вызванного Большим взрывом. Это фотоны, высвободившиеся при реионизации нейтрального водорода под действием звёздного излучения.

Предыдущие обсерватории, такие как более старые космические телескопы «Хаббл» и «Спитцер», не могли наблюдать галактики в этот период из-за их ограниченной инфракрасной (ИК) чувствительности. Но благодаря передовым ИК-инструментам, коронографам и тепловому экрану «Уэбба» занавес с тёмных веков наконец-то снят. В недавнем исследовании международная группа учёных изучила архивные данные «Уэбба» по галактикам, существовавшим всего через несколько сотен миллионов лет после Большого взрыва – в этом смысле «Уэббу» поработал на пределе своих возможностей по созданию изображений.

Читать далее

Антиспам бот для телеграм группы на Gigachat2

Habr.com - Thu, 04/17/2025 - 14:50

11 марта решил сделать антиспам бота в одну из моих групп в телеграм.

что за группа?

1. группа открытая, активность небольшая

2. каждый день подключаются новые "участники" и отправляют непрошенные рекламные сообщения

3. новые "участники" умеют проходить капчу

плюс еще было желание меньше уделять времени админской кухне:

Читать далее

Разработка CLI с помощью пакета Cobra: как не наступить на змею при написании

Habr.com - Thu, 04/17/2025 - 14:46

Привет, Хабр. Меня зовут Иван Добряев, я разработчик программного обеспечения в Центре технологий VK. Сегодня хочу поделиться опытом по одной достаточно прикладной, но весьма увлекательной теме — разработке командной строки (CLI) на Go.

Платформа для инференса ML-моделей (inference platform) у нас молодая, ей всего лишь полгода, и мы активно расширяем команду. Так что, если вы хотите писать сервисы на Go с нуля, то приходите к нам, у нас найдутся задачи на любой вкус.

Читать далее

Наше расследование: ищем отечественные микросхемы в «отечественных» счетчиках электроэнергии. Часть 3

Habr.com - Thu, 04/17/2025 - 14:38

Продолжим вскрывать якобы отечественные микросхемы предназначенные для счетчиков электрической энергии. В прошлой статье мы рассказали про "отечественный" микроконтроллер К5553ВГ01Т от компании ООО "Интегральные Телематические Решения", который дает необходимые 28 баллов для получения статуса отечественной продукции для счетчика электроэнергии. Но на самом деле это оказался перемаркированный микроконтроллер V8530P от тайваньской компании VANGO. Но даже честного отечественного микроконтроллера недостаточно, чтобы набрать необходимые 113 баллов. Для этого требуется в том числе и специализированная микросхема Аналого-Цифрового Преобразователя, которая дает еще 13 баллов. У компании ООО "Интегральные Телематические Решения" в реестре есть еще микросхемы - К5553ХП01Т (реестровый номер 10577674) и К5553ХП02Т (реестровый номер 10577675). Неужели они и будут теми самыми АЦП? Давайте их посмотрим поближе...

Читать далее

Как создать приложения поиска маршрута в рогейне по Agile: личный кейс

Habr.com - Thu, 04/17/2025 - 14:32

Привет, Хабр! Меня зовут Игорь Батулин, я руководитель группы разработки виртуального хостинга в Рунити. Эта статья — не просто рассказ о том, как я люблю рогейн, а пример того, как можно за несколько итераций и в условиях ограниченных ресурсов создать полезный инструмент, действительно помогающий команде принимать решения. Мой рассказ также подскажет, как можно применять Agile-подходы в реальных задачах.

Читать далее

Как ИИ воплощает мечты: персональный план развития за 5 минут

Habr.com - Thu, 04/17/2025 - 14:23

Недавно в Instagram завирусились рилсы, где пользователи показывают, как ChatGPT за пару минут составляет подробные планы: от саморазвития до инвестиций. Мы протестировали этот метод на реальных запросах и делимся результатами.

Читать далее

Who's online

There are currently 0 users and 5 guests online.
Syndicate content