Kurgan-Telecom Ru | Информационные технологии

В предыдущей статье мы говорили о текстовом поиске, а в сегодняшней я расскажу о векторном (семантическом) поиске.

Итак, если мы используем OpenSearch, в Yandex Cloud представляется логичным использовать модели вложений этого же облака.

Этот код можно запустить как Python Cloud Function. Написан он исходя из того, что в каталоге сервисного аккаунта, под которым запускается функция, доступна модель вложений (embedding). Детали подключения к кластеру описаны в документации.

Рассмотрим один крайний случай: если мы подключаемся, указывая FQDN DATA-узлов, у которых не включен публичный доступ, то функция должна запускаться в сети кластера OpenSearch, иначе они будут недоступны. Альтернативные варианты: подключаться через «Особый FQDN» или узел DASHBOARD с публичным доступом.   

Код создаёт тестовый индекс с текстовым и векторным полем, явно вызывает embedding model через REST API, создавая векторы вложений для документов и запроса, и выполняет векторный поиск, демонстрируя способ интеграции. Обратите внимание на способ выбора разных моделей для документов и запросов.  

Долгое время большие языковые модели строились по принципу «больше — лучше». Топовые компании гнались за количеством параметров, не считаясь с затратами. Но когда счета за обучение GPT-4 превысили $100 миллионов, а инференс начал требовать промышленных масштабов энергии, стало ясно: «грубая сила» больше не работает. Индустрии срочно понадобился способ разорвать связку «умнее = дороже».

И решением стала архитектура Mixture-of-Experts (MoE). Суть метода проста: перестать «думать» всей нейросетью над каждой задачей и научить модель активировать ресурсы выборочно. Такое выборочное использование вычислений позволяет наращивать число параметров, не превращая модель в прожорливого монстра.

Причем эта идея не новая. Google экспериментировал с ней ещё в 2017-м, потом была пара академических проектов, а дальше технология благополучно канула в небытие. Трансформеры вроде GPT захватили рынок, и про MoE все дружно забыли. Но в последние пару лет MoE резко вернулась: Mixtral и Mistral 3, DeepSeek, DBRX, Qwen, Kimi K2 Thinking. И список громких релизов пополняется чуть ли не ежемесячно.

Давайте разбираться, что стоит за этим возвращением и действительно ли МоЕ станет решением всех проблем.

Привет, Хабр! На связи Илья Антипов, разработчик Рег.облака в группе Рунити. В этой статье расскажу, как мы поднимали наш Terraform Registry для размещения Terraform-провайдера. Какие ограничения уперлись в официальный HashiCorp Registry, почему выбрали Terralist, как настроили авторизацию через Keycloak и автоматизировали сборку релизов с помощью GoReleaser — об этом подробно поделюсь в статье.

Если вы когда-нибудь пытались собрать свой провайдер или поднять альтернативный registry, этот текст сэкономит вам несколько часов или даже дней. 

Помните, как все обсуждали спецификации новенькой Steam Machine от Valve несколько недель назад? Многие удивлялись выбору всего 8 ГБ видеопамяти для игровой консоли, которая должна конкурировать с PlayStation и Xbox. Неумолимая и неподкупная логика подсказывает, что в 2025 году должно быть как минимум в полтора-два раза больше. Вот только против этой самой логики прут железные факты, которые если не убеждают нас в обратном, то как минимум объясняют, что Valve знала, что делала. Давайте разберемся в этом вопросе раз и навсегда. Ну, или хотя бы до выхода нового поколения устройства.

Картинка: freepik.com

Мы привыкли к тому, что технологическое использование света всё больше и больше находит применение в нашей цивилизации: оптические развязки электронных схем, оптические линии связи (в том числе между спутниками), даже прогнозирующийся переход на оптические схемы и оптические процессоры (в относительно недалёком будущем)…

Но есть и ещё одна область использования света, которая будет, наверное, не так широко знакома широкой публике, но тем не менее любопытна сама по себе — назовём её условно «оптические линии ближнего радиуса».

Если вы когда-либо строили высоконагруженные системы поиска, то знаете, что в какой-то момент узким местом становится не код, а сама архитектура. Поиск доступных отелей — как раз тот случай: миллиарды «ночей», десятки тысяч RPS, постоянные обновления календарей, строгая консистентность и высокая цена любой ошибки. Старый стек на Python + Postgres + Redis долго тянул, но однажды стал «тормозить» настолько, что оптимизировать дальше было невозможно — SQL-запросы разрастались, реплики множились, latency прыгала до 60 секунд, а кэширование превращалось в источник инцидентов.

Так мы пришли к идее построить собственную in-memory базу данных на Go — заточенную под наш домен. Быструю, безопасную и синхронизированную с Postgres. 

Под катом — история того, как мы её спроектировали, какие архитектурные решения приняли, как победили холодный старт, справились с миллиардами значений. И почему в итоге смогли полностью отказаться от кэша доступности, переведя поиск в real‑time.

Если вы когда-либо строили высоконагруженные системы поиска, то знаете, что в какой-то момент узким местом становится не код, а сама архитектура. Поиск доступных отелей — как раз тот случай: миллиарды «ночей», десятки тысяч RPS, постоянные обновления календарей, строгая консистентность и высокая цена любой ошибки. Старый стек на Python + Postgres + Redis долго тянул, но однажды стал «тормозить» настолько, что оптимизировать дальше было невозможно — SQL-запросы разрастались, реплики множились, latency прыгала до 60 секунд, а кэширование превращалось в источник инцидентов.

Так мы пришли к идее построить собственную in-memory базу данных на Go — заточенную под наш домен. Быструю, безопасную и синхронизированную с Postgres. 

Под катом — история того, как мы её спроектировали, какие архитектурные решения приняли, как победили холодный старт, справились с миллиардами значений. И почему в итоге смогли полностью отказаться от кэша доступности, переведя поиск в real‑time.

Каждое утро QA-инженер с командой ходит в баню проверяет тестовое окружение. Он не может приступить к таскам, пока не докажет, что тестовое окружение в порядке. 

Ведь если без проверки запустить проекты в облаке, при создании тестовых данных обязательно вылезут ошибки. И тут на помощь приходит Postman — приложение для создания коллекций с запросами к вашему API.

Инструкцию по автоматизации проверок даю в этой статье.

Автоматизация HR-процессов — многоступенчатый процесс. Сначала нужно решить проблему малой группы, HR-команды, освободив ей руки, а потом — всех сотрудников компании. В общем, продуктовый подход тут не роляет.

Узнали мы это, когда разрабатывали свою HR Platform. Как мы это делали и какие проблемы решали в процессе — я расскажу в своих статьях. Начнём с путешествия в 2018 год, когда мы даже не могли точно сказать, сколько человек работает в управляющей компании Додо. Вперёд в прошлое!

Пока мы просто хотели попасть на сайт — скачать файл, зарегистрироваться на форуме, оставить комментарий — мы, сами того не подозревая, участвовали в самой масштабной краудсорсинг-кампании в истории человечества, в которой с 2007 по 2013 год приняло участие 750 миллионов уникальных юзеров.

Возможно, среди них были вы. Возможно даже, введенное вами слово осело в цифровой версии какой-нибудь старинной журналистской заметки о пользе всякого разного для психического здоровья или рентгеновского излучения для эпиляции женских усиков. При охватах, характерных для интернета 2000-х, это почти гарантировано.

Одних авантюра, о которой тут пойдет речь, бесила, и они устраивали саботаж, вписывая в поле ввода ругательства и бессмысленные комки букв. Другие, наоборот, были рады почувствовать себя частью чего-то большего, чем они сами. Основная же масса просто молча вводила капчи, ничего не зная о тайных целях проекта reCAPTCHA и его создателя — романтика human computation Луиса фон Ана.

Сегодня мы исправим это недоразумение и расскажем о том, куда шли наши капчи 15 лет назад и почему reCAPTCHA — это круто, хоть и этически спорно, и бесперспективно… но красиво.

Разбираем внутреннее устройство ПФР РФ, объясняем почему это не фонд вовсе, и смотрим как пенсфонды работают в других странах мира.

Да, именно так. Конечно, появились пароли, когда никакой индустрии информационной безопасности ещё и в планах не было, но это legacy мы тащим за собой уже несколько тысяч лет. Проблема с паролями в том, что придуманы они для людей, а для людей нет ничего более противоестественного, чем запоминать последовательности букв и цифр. И вот об этом мы сегодня вместе подумаем.

Человек является самым интеллектуально развитым существом на планете Земля. Кто автор этого утверждения? Конечно же, мы сами. Однако, несмотря на очевидную предвзятость суждений, стоит все же согласиться. Куда более неоднозначно утверждение, что лишь человек обладает сознанием. Ранее считалось, что создание является либо следствием интеллекта, либо его сопряженным партнером. Однако в исследовании, проведенном учеными из Рурского университета (Бохум, Германия), следует, что птицы также удовлетворяют всем критериям, связанным с потенциальным наличием у них сознания. Какие именно факторы указывают на наличие создания, какие из них есть у птиц, и что это может означать для нейробиологии в целом? Ответы на эти вопросы мы найдем в докладе ученых.

Когда Дэвид Люк впервые попробовал галлюциноген ДМТ, он не искал встречи с эльфами или привидениями. Он даже не знал, что такое ДМТ, химическое название которого — N,N-диметилтриптамин. Однако через несколько минут появились маленькие светящиеся фигурки, «забирая весь свет от солнца и заталкивая его в моё солнечное сплетение», — вспоминает он.

Только позже доктор Люк понял, что тысячи людей по всему миру описывают удивительно похожий опыт, вызванный ДМТ. Это осознание пришло к нему, когда он начал официально собирать и анализировать большое количество отчётов о трипах в рамках своей академической работы по встречам с сущностями ДМТ и участия в проекте Challenging Psychedelic Experience Project, который отслеживает долгосрочные психологические последствия сложных трипов. Эти встречи включали опубликованные анализы того, что исследователи называют «бесплотными сущностями», или сущностями без тела.

Steam и itch io для ПК, App Store и Android Market (сейчас Google Play) для смартфонов и другие площадки открыли игровую индустрию независимым разработчикам. В прошлом году инди-проекты впервые сравнялись по выручке с AAA-играми, заработав более 4 млрд долларов, а к 2030-му эта цифра увеличится почти до 10 млрд. 

Индустрия растет, и можно было бы говорить о золотых горах для разработчиков – но при кажущейся демократии распределение средств вовсе не равное. Лишь горстка хитов забирает львиную долю всех денег.

Обсудим как цифровые маркетплейсы, так и аналоговые, начав с простой продажи игр, породившие эту новую реальность – одновременно открытую и безжалостную. Отправляемся в путь, который начинается с почтовых рассылок…

Всем привет! Меня зовут Пчельникова Татьяна, я владелец продукта в ИТ-команде «Северстали». В этой статье я расскажу об участии нашей команды во II Всероссийском форуме «Промышленная автоматизация: переход на открытую АСУТП» в Нижнем Новгороде, для которого мы вместе с участниками рабочей группы ОАСУТП собрали демонстрационный стенд из компонентов ОАСУТП и продемонстрировали совместную работу готовых компонентов на реальном объекте автоматизации.

Воронки конверсий - популярный инструмент, который сейчас используется почти в любом коммерческом продукте.

Считается, что эта штука быстро и гибко отвечает на большое количество практических продуктовых вопросов.

Предлагаю вместе проговорить границы применимости воронок и рассмотреть методологию, которая может эффективно дополнить уже существубщие у вас инструменты анализа пользовательского поведения.

Сфера IT развивалась семимильными шагами с 1990-ых годов. Разработка приложений и их поддержка не была на столь высоком уровне, но техническая сложность приложений была неоправданная высокая, что давало определенный барьер для попадания на профессии даже близкими к IT. Профессия разработчика была унифицирована и расплывчата на множество профессий. Именно поэтому компании в те годы были мотивированы обучать специалистов напрямую вышедших из ВУЗов с техническим образованием.

Но проходят годы и вот уже в 2000-ых годах появляются и закрепляются на рынке более простые в реализации технологии, системы расширяются и данный барьер попадания в профессию начинает пропадать. Данная система стажировки в компаниях начинает давать первый сбой. Cами технологии упрощались с технической точки зрения, но программы наполнялись все более непонятной логикой создания. Из-за упрощения разработки вход на рынок труда был довольно низок[2], мелким и среднем компаниям приходилось нанимать новых сотрудников из вышедших ВУЗов студентов, так как те были просто дешевле с точки зрения рынка.

 В это время появление множества новых бизнесов сопутствовало развитию IT сферы в экономическом секторе России. Но множество разработчиков просто обучаясь в компаниях профессиональным навыкам начинали уходить к конкурентам либо к более крупным компаниям на более высокие должности в короткий миг. Обучение специалистов становилось не выгодным занятием для компаний. Появлялось первое разделение «программиста» на несколько должностей таких как Data Engineer и DevOps Engineer.

Coolify это инструмент с открытым исходным кодом, который позволяет удобно хостить бэкенд- и фронтенд- веб-приложения, базы данных и многие популярные open-source сервисы, вроде n8n.

И хотя начать пользоваться Coolify не так уж сложно, но как и везде, тут есть свои особенности. Поэтому мы и решили написать инструкцию. Однако в процессе стало понятно, что просто рассказать про работу с Coolify недостаточно. Потому что нужно показать и подготовительную работу — как правильно выбрать VPS, как купить домен, как настроить DNS и файрвол (firewall).

Поэтому мы решили первую часть нашей инструкции посвятить исключительно вопросам подготовки. Расскажем максимально подробно, чтобы разобраться мог даже человек, который впервые слышит про сервера и домены. А уже во второй части, которая выйдет чуть позже, мы непосредственно займемся самим Coolify — его установкой, настройкой и использованием.

Наличие всевозможных методологий по управлению проектами внедрения ERP-систем может запутать новичка [1-3]. Ведь проекты внедрения могут вестись согласно каскадной однопроходной модели или многопроходным, к которым относят итерационную и спиралевидные модели [4]. В первом случае говорят о применении PMBoK [1], во втором Agile направленных подходов [2], к примеру: Scrum, Kanban и др. Несмотря на информационный хайп и сложность внедрения корпоративных систем в подавляющем большинстве применяются каскадные способы имплементации. Поэтому понимание сути и особенностей применения PMBoK становится критичным.

Свод знаний по управлению проектами (PMBoK) дает базис понимания того, как управлять любым проектом, в том числе в области ИТ. Поэтому содержательная часть заполняется активностями и задачами, специфичными для корпоративных информационных систем [5]. Достаточно часто руководителями проектов внедрения информационных систем являются выходцы из функциональных консультантов. Последнее не исключает и обратную ситуацию, когда проектный менеджер есть лицо далекое от ERP-систем. Проходя через множество проектов имплементации, консультант обретает те необходимые знания, которые позволяют понять структуру и организацию проекта, однако дефициты в понимании проектного управления все равно могут остаться.

Основная цель статьи состоит в том, чтобы погрузить человека, вышедшего из среды функциональных консультантов ERP, в повестку управления проектами для обеспечения эффективного и качественного решения проектных задач. В рамках этой работы попытаемся ответить на все те критичные вопросы, которые часто остаются вне зоны охвата PMBoK. И начнем мы, пожалуй, с самого главного: кто есть и чем должен заниматься менеджер проекта со стороны подрядчика.