Kurgan-Telecom Ru | Информационные технологии

Запуск крупных языковых моделей локально всегда был игрой в компромиссы. Вы либо тратите более $10 000 на GPU потребительского уровня, которые едва справляются с моделями на 70 миллиардов параметров, либо мечтаете о корпоративном оборудовании, которое вам никогда не по карману. Платформа Grace-Hopper — архитектура суперчипов Nvidia, объединяющая CPU и GPU на одном кристалле, — представляет собой именно ту инфраструктуру для ИИ, о которой мечтает сообщество LocalLlama, причём системы обычно стоят более $100 000 и доступны исключительно дата-центрам и исследовательским учреждениям.

Поэтому, когда я наткнулся на систему Grace-Hopper, продаваемую за 10 тысяч евро на Reddit, моей первой мыслью было «откровенный развод». Второй мыслью было «интересно, а согласится ли он на 7,5 тысячи евро?».

Это история о том, как я приобрёл корпоративное ИИ-оборудование, разработанное для жидкостного охлаждения в серверных стойках, которое было переделано на воздушное охлаждение, затем я снова перевёл его на водяное охлаждение, пережил несколько "почти катастроф" (включая работу с GPU, сообщающим, что у него температура в 16 миллионов градусов) и в итоге получил настольную систему, способную запускать модели с 235 миллиардами параметров дома. Это повествование о сомнительных решениях, творческом решении проблем и о том, что происходит, когда вы пытаетесь превратить серверное оборудование в повседневную рабочую станцию.

Если вам когда-либо было интересно, что требуется для запуска действительно крупных моделей локально, или если вы просто пришли посмотреть, как кто-то разбирает оборудование стоимостью $80 000, вооружившись лишь надеждой и изопропиловым спиртом, вы попали по адресу.

Разработка эффективных и безопасных приложений требует не только хорошо продуманного API, но и правильного выбора протокола передачи данных. Веб-приложения обычно используют текстовые форматы, такие как JSON или XML, но для высокопроизводительных систем, требующих минимальной задержки и небольшого объема передачи данных, может быть выгодно использовать бинарные протоколы.

В этой статье мы рассмотрим, как разработать собственный бинарный протокол для приложений на основе Node.js и WebSockets, добавить авторизацию с помощью JWT и изучим преимущества бинарного протокола по сравнению с другими форматами данных.

Иногда даже долгожданный отпуск не приносит радости, если знаешь, что скоро возвращаться в рабочую рутину. Возникает вопрос: «Почему одни люди счастливо идут на работу, а другие сталкиваются с апатией и выгоранием? И, даже если меняют организацию или уходят в новую сферу, попадают в ту же самую западню?»

Статья содержит описание работы утилиты для видео звонков из командной строки say. Рассказывается о том как всё устроено под капотом, как оптимизированно и почему всё работает так быстро с минимальным размером памяти и нагрузки на CPU.
Так же небольшой обзор утилиты see для просмотра фильмов опять же в окне терминала.

В мире современного программирования эффективное использование ресурсов, включая память, является ключевым аспектом разработки приложений. Сегодня мы поговорим о том, как можно оптимизировать доступные ресурсы в процессе разработки.

Язык программирования C#, несмотря на то, что обеспечивает автоматическое управление памятью с помощью механизма сборки мусора (GC), требует от разработчиков специальных знаний и навыков для оптимизации работы с памятью.

AI развивается очень быстро, но основной фокус у большинства - на LLM.

Но кроме LLM есть и другие применения и в этой статье - рассказ про проект синхронного перевода (в реальном времени) между любыми парами языков:

https://github.com/QuentinFuxa/WhisperLiveKit/

Основан этот проект на OpenAI Whisper. Что добавляет WhisperLiveKit?

В статье рассмотрено программное решение для сбора набора данных о пропавших и найденных животных с сайта Pet911.ru – крупнейшей в России система поиска пропавших животных, анализа и визуализации полученных данных. Исследуется зависимость шанса нахождения животного или новых хозяев от его вида, возраста, подробности описания примет, числа комментариев, количества фотографий и так далее Формируется статистика о пропавших питомцах по регионам. Данная работа может помочь при организации поисков пропавших животных и для нахождения хозяев уличным животным, создании новых волонтёрских объединений.

Исследование выполнено в рамках дисциплины «Большие данные» магистерской программы «Математические методы анализа и визуализации данных» Санкт‑Петербургского политехнического университета Петра Великого.

Всем привет! Сегодня хотелось бы затронуть такую тему, как оптимизация CPU для ваших приложений на C#.  В целом, эффективное использование вычислительных ресурсов, включая процессор, является одним из главных аспектов разработки программного обеспечения. В этой статье мы рассмотрим несколько ключевых подходов и стратегий оптимизации нагрузки на CPU в языке программирования C#.

Все мы видели круговые диаграммы. Их любят рисовать во всяких отчётах и презентациях. А ещё их очень любят авторы рекламных материалов и стоковых картинок: довольный «эффективный менеджер» с лучезарной улыбкой держит в руках распечатку графиков своего головокружительного успеха.

На первый взгляд может показаться, что круговая диаграмма — это отличный способ визуализации данных. Наглядно, красиво, высокохудожественно, современно. Однако у круговых диаграмм есть ряд проблем... При должном усилии их можно превратить в инструмент искажения данных. Но мы ведь хотим донести до наших читателей объективную информацию и не хотим её скрыть или исказить. Ведь правда?

Одна из проблем при проектировании сверточных сетей (CNN) – несоответствие размеров тензоров. Неправильно заданные padding, stride или dilation могут замедлить разработку модели.

Этот туториал – шпаргалка по формулам расчета размерности преобразованного изображения. Мы разберем, как каждый параметр свертки влияет на ширину и высоту выходного тензора. Материал будет полезен как новичкам, так и опытным разработчикам, желающим освежить ключевые формулы.

Быстрые автомобили. Гламурные локации. Драма на трассе и за ее пределами.

Растущая популярность Формулы 1 во многом обусловлена "Эффектом Netflix".

Я попросил отметить расширение Highlighter Extension рекомендованным, и этого оказалось достаточно!

Ежедневные установки примерно удвоились, ну может, увеличились в полтора раза. Весь процесс занял 2–3 дня (люди пишут, что бывает от нескольких дней до месяца).

Речь в этой статье пойдет о личной продуктивности или как сделать больше в единицу времени и не "рипнуться от напряга". В свое время я пытался оптимизировать свой график, тогда я еще работал 5/2 и вел свой пет проект создавал игру на юнити. Времени на все катастрофически не хватало. В перерывах на работе я читал книгу по гейм дизайну и паттернам, а приходя домой сразу садился за работу. В то время я думал, что надо все больше и больше прилагать усилий, потому что другого варианта нет. В итоге игру я все же завершил, но в добавок получил хорошее выгорание. Чтобы предотвратить подобное, я разобрал некоторые не просто разобрал свои ошибки с отдыхом и мотивацией, а определил четкие принципы.

Всем привет. Я уже примерно 3 года занимаюсь ведением рекламы на маркетплейсах, в частности ВБ, и поскольку люблю все автоматизировать - разработкой и поддержкой инструмента для управления рекламными кампаниями и аналитикой через публичный API Wildberries.

И в целом я уже привык к тому, что иногда новые версии методов абсолютно не соответствуют старым, даже там, где можно было сделать обновленную версию с минимальными изменениями, чтобы разработчик просто поменял URL ендпоинта. Привык что приходится иногда делать работу ради работы по сути, потому что кто-то не продумал заранее проблемные нюансы.

Но в последнее время в АПИ произошло такое количество изменений, и они настолько напрягают своими неочевидными ошибками, что уже "накипело", и хочется это сформулировать в виде какого-то структурированного текста с примерами, вдруг кто-то из команды обратит на это внимание.

Постараюсь описывать проблемы WB API не с позиции «пользователя, которому не понравилось», а с точки зрения интегратора, который отвечает за стабильную работу рекламы для нескольких клиентов с миллионными оборотами. Я сознательно опускаю детали реализации и не привожу конкретные ID кампаний и запросы, но описываю поведение, воспроизводимое на сотнях кампаний нескольких клиентов.

Представьте мир, где ваш смартфон не просто запускает нейросеть — он становится частью глобального вычислительного мозга. Мир, где беспилотный автомобиль обрабатывает данные не в далёком облаке, а в динамической сети соседних машин и дорожной инфраструктуры. Мир, где умный завод принимает решения не централизованно, а через коллективный разум тысяч датчиков и роботов, обменивающихся нейронными активациями в реальном времени.

Это не сценарий далёкого будущего — это насущная потребность сегодняшнего дня. Пока гиганты ИИ соревнуются в создании всё более крупных моделей с триллионами параметров, реальный мир сталкивается с жестоким парадоксом: самые продвинутые системы искусственного интеллекта оказываются беспомощными там, где они нужнее всего — на периферии, в условиях ограниченной связи, скудной энергии и жёстких требований к задержкам.

В прошлом квартале я внедрил Microsoft Copilot для 4000 сотрудников.

$30 за место в месяц.

$1,4 миллиона в год.

Я назвал это "цифровой трансформацией".

Совету директоров понравилась эта формулировка.

Они одобрили за одиннадцать минут.

Никто не спросил, что это вообще будет делать.

Включая меня.

Я всем говорил, что это "увеличит продуктивность в 10 раз".

Это не реальная цифра.

Но звучит как реальная.

HR спросил, как мы будем измерять это увеличение в 10 раз.

Я сказал, что мы "задействуем аналитические дашборды".

Вопросы прекратились.

Три месяца спустя я проверил отчёты по использованию.

47 человек открывали его.

12 использовали больше одного раза.

Один из них — это я.

Я использовал его, чтобы пересказать письмо, которое мог прочитать за 30 секунд.

Это заняло 45 секунд.

Плюс время на исправление галлюцинаций.

Но я назвал это "успешным пилотом".

Успех означает, что пилот не провалился явно.

Финдир спросил про ROI.

Я показал ему график.

График шёл вверх и вправо.

Он измерял "AI-enablement".

Я эту метрику придумал.

Он одобрительно кивнул.

Теперь мы "AI-enabled".

Я не знаю, что это значит.

Но это есть в нашей инвесторской презентации.

Старший разработчик спросил, почему мы не используем Claude или ChatGPT.

Я сказал, что нам нужна "энтерпрайз-безопасность".

Он спросил, что это значит.

Я сказал "комплаенс".

Он спросил, какой именно комплаенс.

Я сказал "все виды".

Он выглядел скептически.

Я назначил ему "встречу по развитию карьеры".

Вопросы прекратились.

Microsoft прислала команду для кейс-стади.

Они хотели представить нас как историю успеха.

Большие компании нацелены на Процесс и совершенно не работают на Результат, это их и губит.

1.Специфика больших компаний.

Всем известна фраза: «Слишком большие, чтобы разориться». Но слишком быстрые изменения мира и рынка могут свести на нет те преимущества, что казались раньше абсолютными.

Неоспоримое преимущество - размер и финансовая подушка может иметь для больших компаний обратный эффект, то есть сделать их неконкурентоспособными на рынке. Такое становится возможным из-за специфики их корпоративной культуры.

Основная проблема больших компаний, которая в конечном итоге может их погубить – это чрезмерная увлечённость процессами, так, что результат теряется из виду. Конечно, регламенты и политика - это именно то, что делает компанию уникальной и выделяет ее на рынке, для клиентов в том числе. Но когда регламенты становятся важнее результата, то это приводит к потере эффективности, к финансовой и креативной деградации.

Надеюсь, этот материал вам никогда не понадобится. А если понадобится, то вы уже преисполнились проблемой и полны решимости ее исправить!

Вкратце, новые таймзоны не распознаются старыми библиотеками, а это чревато ошибками и неожиданностями.

Обсудили с @darksnake ход развития open source-хаба — его инициативы, реализующей новую модель сотрудничества на базе индустриального опенсорса. Получился объемный, но продуктивный разговор с полезными инсайтами по теме.

Привет! Работа над ядром поисковика rats-search продолжается. Новая версия библиотеки librats (v0.5.3) приносит важные архитектурные улучшения для построения распределенных сетей в условиях NAT и блокировок.

Ключевые изменения:

Унифицированный API (FFI): Завершена интеграция с Node.js. В отличие от фрагментированных реализаций libp2p, librats предоставляет идентичный набор функций для C++, Python, Node.js и Android через FFI.

Эффективный DHT:

Реализован алгоритм Spider для прибегания с сбора announce.

Добавлена поддержка branch-factor и маршрутизации на основе задержек (RTT-routing).

Персистентность: Routing-таблицы сохраняются при перезапуске, что критически важно для связности сети в сложных сетевых условиях.

BitTorrent: Значительный рефакторинг и оптимизация модуля.

Платформы: Windows (x64), Linux (x64), Android (32/64), macOS (x64).