Kurgan-Telecom Ru | Информационные технологии

Всем привет, с вами Макс Гуляев. Я отвечаю за разработку сервиса Evolution Notebooks.

Jupyter Notebooks — проверенный временем инструмент, который на слуху у каждого DS или ML-инженера. Перечислять все его плюсы смысла нет, а вот минусы — вопрос, пожалуй, актуальный. Меня как ML-щика раздражало, что ты приходишь в ноутбук полный энтузиазма, надеешься решить все проблемы человечества с помощью своей модельки… Но выясняется, что путь к обучению усеян локальными ограничениями ресурсов, проблемами с установкой зависимостей и коллаборациями, тут надо проверить, там подкрутить. В итоге модель ты обучаешь 20% времени, а остальные 80% проводишь в обработке напильником инструмента, который должен тебе помогать. Но хорошая новость: сегодня мы прокачаем эту унылую «тетрадку».

Под катом расскажу, как мы с командой хотели упростить жизнь ML-разработчикам и что из этого вышло.

В статье разберем, как синхронизировать данные из Oracle, MySQL, SQL Server, PostgreSQL, Kafka и MongoDB в StarRocks. Сравним Flink+CDC+SMT, DataX, Routine Load и Python по применимости, ограничениям и удобству эксплуатации, а также дадим рекомендации по выбору под разные сценарии.

Стартапы гордятся своей свободой и отсутствием жёстких правил. В свою очередь, чем крупнее становится компания, тем больше она нуждается в корпоративной культуре и правилах работы. Из первичного бульона хаоса, устных договорённостей и личных связей неизбежно формируются рельсы рабочих процессов в виде событийно-ролевой модели и рабочих артефактов. Другими словами, субъекты и объекты трудовых будней компании. 

Меня зовут Евгений Иванов, я Agile Cluster Lead кластера Облачные технологии в компании MWS Cloud — команды, которая создала MWS Cloud Platform. И в этой статье я расскажу, почему мы считаем наш кластер анклавом процессных практик и какие плюшки и сложности мы с этого имеем. На тему наших процессов мой коллега Саша Стерлигов уже написал подробную статью. Почитайте.

Если вы уже работали с приёмниками SDR и программами SDRSharp и SDR++, то, скорее всего, умеете «ловить» с их помощью FM-радио или радиостанции авиационного диапазона. Об этом я рассказывал в статьях «Этот увлекательный мир радиоприёмников» и «Цифровая радиотехника, первые шаги. Repka Pi + SDR = Сканируем Радиоэфир». 

Но что если вам нужно создать свой нестандартный приёмник или другую радиосистему на базе устройства SDR, да ещё без паяльника и составления программ?

Для этого пригоден фреймворк GnuRadio, позволяющий с помощью блочного конструктора собрать нужную цепочку обработки сигналов из готовых или созданных вами блоков. В результате из нарисованной диаграммы вы получите готовую программу для взаимодействия с устройствами SDR и для обработки сигналов. Расскажу подробнее в этом материале.

Более 15 человек на планете внедрили в мозг инвазивный чип: все они люди с серьезными ОВЗ. О технологиях гибких и жестких электродах, робособаках и будущем, к которому сделан первый шаг.

В детстве у многих были грандиозные планы: «вырасту — стану космонавтом». Я же долго не разделял этой категоричности сверстников: мир казался слишком большим и интересным, чтобы выбирать что-то одно. Да и подготовка космонавтов — дело нелегкое.

К выпускному стало ясно, что технические науки — и есть мой профиль. По русскому и литературе я перебивался с тройки на четверку, а классика совершенно не трогала. Но парадокс: где-то в глубине души жило безудержное желание творить.

Привет, Хабр! На связи Владимир Туров, разработчик в Selectel. В этой статье — о моем пути: как и зачем технарю писать тексты, чем создание публикации на Хабре отличается от работы над книгой. Также делюсь тем, что у меня получилось.

В статье — пошаговый разбор создания и обновления материализованных представлений (MV) в StarRocks: от парсинга SQL (ANTLR) и инициализации свойств до сериализации метаданных (edit log, checkpoint, image) и планирования refresh. Разбираем синхронизацию партиций (range‑партиционирование), параметр partition_refresh_number и оптимизацию обновлений. Отдельный блок — поддержка нескольких выражений в UNION ALL и механизм VirtualPartitions из PR #60035, позволяющий корректно обновлять сдвинутые временными функциями (date_add/date_sub) диапазоны без пропусков. Материал будет полезен инженерам данных и тем, кто проектирует OLAP‑модели и MV под высокую нагрузку.

Всем привет! Сегодня с вами Серёжа Сажин. Мы в команде дизайна сейчас активно работаем над эмоциональной составляющей в наших продуктах. Когда мы говорим про эмоциональность в интерфейсах, то чаще всего вспоминаем клиентские продукты: яркие иллюстрации, анимации и те самые «приятности», которые делают опыт живее. Но как только речь заходит о внутреннем продукте для сотрудников, в воздухе звучит: «Нам не эмоции нужны, нам надо, чтобы работало».

Нужна ли эмоциональность в интерфейсе, который решает сугубо рабочие задачи? Я попытался разобраться.

Привет! Меня зовут Алексей Архипенко, я руковожу группой разработки ML‑инфраструктуры в команде YTsaurus. Мы часть Yandex Infrastructure и предоставляем пользователям внутри Яндекса инфраструктурный фундамент для самых разных задач машинного обучения.

YTsaurus — основная платформа для хранения и обработки данных Яндекса, которая доступна на GitHub под лицензией Apache 2.0. Это позволяет всем желающим загрузить систему на свои серверы, а также дорабатывать её под свои нужды. Мы уже писали в прошлых постах про её выход в опенсорс и дальнейшее развитие, а также кейсы использования в рекламе. Сегодня расскажу, как Яндекс запускает в ней почти все ML‑обучения и batch‑инференс.

В начале декабря прошла шестая большая IT-конференция — ЮMoneyDay, на которой эксперты ЮMoney делились, как устроен финтех под капотом. К событию подключилось более 1000 слушателей. В этой статье мы подводим итоги конференции и рассказываем об её обратной стороне: зачем спикерам без опыта нужен бизнес-тренер, как выступать после дыхательной практики и почему стресс — тоже тема для IT-доклада.

В прошлой статье мы рассказали, какие группы плагинов есть на маркетплейсе GigaIDE. Их количество постоянно растёт — как за счёт open source-плагинов, ранее доступных у JetBrains, так и за счёт собственных разработок. Именно оригинальным плагинам мы и посвятим цикл статей.

Начнём с группы ИИ-помощников — плагинов, которые используют возможности GigaCode для автоматической работы с кодом. Все они бесплатны, но для работы требуют активированный GigaCode.

Привет Хабр! Меня зовут Михаил. Я backend-разработчик в команде Биллинга в Тензоре.

Эта статья — обзор вариантов индексации JSON и JSONB-полей и оптимального поиска текста в них, который мы проделали вместе с командой. Так как используем PostgresSQL, все варианты валидны для него.

Я – генеральный директор некоммерческой организации.

Мы спасаем человечество от ИИ.

Тем, что развиваем ИИ.

Позвольте мне объяснить это противоречие.

Всем привет!

Нашему веб-серверу Angie исполнилось три года. Становится хорошей традицией, что к этой дате выходит текст, в котором мы — основатели Angie Software — описываем, как прожили последний год, немного говорим про состояние опенсорс проекта и его места в отрасли и мире. Надеемся, что и в этой простыне вы найдете для себя много чего интересного.

В прошлом году текст «Два года Angie», кажется, вам понравился. В нем мы более-менее подробно писали о том, как именно создавалась компания Angie Software, почему вообще мы стартовали с опенсорса, какую роль в появлении Angie сыграли китайские товарищи, и как мы, сообразив, что заработать на опенсорс проекте мы не можем, стремительно переобулись в сторону производства целой линейки продуктов. Ну и еще немного плевались в сторону F5, которая вымарала наших коллег из истории Ngnix. Кому интересно, как все начиналось, почитайте.

Ну а тут мы обсудим как прошел последний год и как именно изменились наши представления о реальности. Данный текст в первую очередь необходим, чтобы отфиксировать мысли вокруг нашего опенсорс проекта. Но, что не менее важно, подсветить контекст 2025 года, в котором вынужден функционировать опенсорс разработчик.  

Всем привет! При свете дня я — Ольга Матушевич, преподаватель онлайн-магистратуры в Яндекс Практикуме, а во тьме ночной — просто Оля, которая хочет посмотреть интересную киношку. И хотя в такие моменты хочется отдыхать, профдеформация порой не отпускает: рука сама тянется выбрать что-нибудь про цифры, статистику, вероятности и прочие радости аналитики.

Все фильмы из этой подборки были отсмотрены мною лично. За одним исключением, пока не вышедшим на большие экраны (с настолько классным описанием, что я с нетерпением жду возможности его посмотреть). Скажу сразу: что-то я яростно рекомендую, а чем-то — честно разочарована. Но если данные и математика вас увлекают — дайте этим фильмам (и сериалу!) шанс.

MyLMTS

Меня всегда привлекали несколько парадоксальные устройства из техники, которые, не содержат практически ни одной детали, но, в то же время, выполняют свою функцию — по сути своей, они представляют собой идеальное техническое устройство, так как в нём идея минимизации количества компонентов (и максимизации надёжности, соответственно), доведена до абсолюта. 

И сегодня мы рассмотрим ещё одно такое интересное устройство... ;-)

Системы управления инженерными сетями, в отличие от самих инженерных систем, редко проектируют с расчетом на десятилетия эксплуатации. Проблема чаще связана не со сроком службы оборудования, а с невозможностью модернизации и отсутствием запасных частей.

В статье разбираем кейс замены автоматики системы отопления в квартире с централизованным теплоснабжением. Исходная система проработала около 15 лет, после чего стала неремонтопригодной.

Тем не менее выход существует. Покажем, как удалось обойти существующие ограничения и вернуть управляемость отопления в квартире, получив при этом удаленный доступ со смартфона и возможность дальнейшего развития логики управления.

Описание методики фунпацу для достижения максимально высокой личной продуктивности.
Текст содержит подробное описание мотивов для использования техники и самой технику. Написано живым языком и основывается на опыте автора.

Санкт-Петербург, 1885 год. У Российской империи серьёзная кадровая проблема: технологии развиваются стремительно, а специалистов катастрофически не хватает. По стране тянутся телеграфные линии, появляются новые изобретения, но инженеров приходится выписывать из Европы. Это дорого и не всегда эффективно.

Министр внутренних дел граф Дмитрий Толстой видит проблему и предлагает радикальное решение: создать собственный Телеграфный институт. Но Государственный совет идею зарубил: слишком дорого, слишком рискованно, непонятно, окупится ли.

Толстой не сдался. Год спустя вернулся с компромиссным предложением: давайте начнём с малого — откроем училище, временно, на пять лет. Если эксперимент удастся, расширим. Государственный совет согласился на такой вариант. Так в 1886 году в здании бывшего Телеграфного департамента появилось Техническое училище Почтово-телеграфного ведомства.

Но нет ничего более постоянного, чем временное.

Согласитесь, что встретить Новый год рядом с семьёй и друзьями - намного приятнее, чем сидеть за ноутбуком в 02:40 и с квадратными глазами разбираться, почему “что-то там легло”, а доступ к нужным секретам остался только у одного человека… который как раз в этот момент режет оливье и не слышит телефон.

Ниже я делюсь своим чеклистом из 8 пунктов. Он помогает спокойно уйти в праздники и не проводить их в обнимку с ноутом. А после прочтения, в комментах, обязательно поделитесь что бы вы еще добавили.