Kurgan-Telecom Ru | Информационные технологии

У нас был большой продакшен-сервис с ~10M MAU, где Redis использовался как основное хранилище состояния пользователей. Все данные лежали в нём в виде JSON-сериализованных Pydantic-моделей. Это выглядело удобно, пока не стало больно.

На определённом этапе мы выросли до Redis Cluster из пяти нод – и он всё равно задыхался по памяти. JSON-объекты раздувались в разы относительно полезных данных, и мы платили за тонны пустоты — буквально деньгами и деградацией.

Я посчитал сколько весят реально полезные данные и получил цифру, от которой понял, что так жить больше нельзя.

OpenAI официально ограничила доступ для российских пользователей, но это не значит, что дорога к передовым технологиям искусственного интеллекта для нас закрыта. Напротив, сегодня получить доступ к ChatGPT 5 стало даже проще, чем когда-либо — без необходимости искать стабильный VPN или заводить зарубежные карты.

На смену сложным схемам пришли удобные агрегаторы нейросетей, которые решают все технические вопросы разом. В этой статье мы разберемся, как легально и без лишних хлопот подключиться к ChatGPT 5, а также раскроем весь спектр его возможностей на практических примерах.

Manuscript OCR — открытая нейросеть для чтения рукописей XIX века

Мы обучили свою OCR-модель распознавать дореформенную кириллицу, нестандартные почерки и сложные сканы. Всё — на собственных данных, с нуля. В статье — как мы это сделали и ссылки на репозиторий с кодом.

27 октября, после более двух лет разработки, состоялся выпуск стабильной версии 1.2.0 проекта Brotli, распространяемого по лицензии MIT.

Brotli – это универсальный алгоритм сжатия без потерь, который сжимает данные с помощью комбинации современного варианта алгоритма LZ77, кодирования Хаффмана и моделирования контекста второго порядка, с коэффициентом сжатия, сопоставимым с лучшими из доступных в настоящее время универсальных методов сжатия. По скорости он схож с deflate, но обеспечивает более плотное сжатие.

Спецификация формата Brotli определена в RFC 7932.

Основная часть проекта написана на языке C. Также предоставляются биндинги для C#, Go, Java, JavaScript и Python.

( читать дальше... )

 brotli, c, библиотека, компрессия, форматы данных

Всем привет! Сегодня на обзоре Скелетная анимационная система, её организация и упорядочивание.

Скелетная анимация в 3D - это инструмент для лучшего погружения в повествование.

Часто ли вам приходилось задаваться вопросом: как сделать скелетную систему для 3D? Как организовать данные, как удобнее? Возможно, есть какие-то желания, которые при реализации хотелось бы учесть. Именно таким вопросом я задался, каким-то вечером. И так я начал изучать, что и как сделать. Но всё глубже погружаясь в какие-то туториалы, я обращал внимание на то, как организован код, и всё ускользало, как сквозь пальцы. Казалось бы, вот код, но он как бисер, рассыпан по многочисленным файликам какого-то обзорщика. Так же в какой-то момент, я уже точно знал, как я хочу, чтобы выглядел код, какой мне бы хотелось. Конечно, не совсем так. Узнал о том, какой я хочу код, после некоторых тестов... В общем, предлагаю взглянуть на то, как я смог реализовать анимационную систему в моём стиле. Добро пожаловать в эту статью, кому интересно рассмотреть какие-то нюансы с первых строк кода.

Началось все весьма прозаично, клиент позвонить к нам в техподдержку и спросил «а как бы мне поставить ваш софт но в другую схему БД». Собственно вопрос проще некуда — мы писали на спринге, а значит лезем в application.yml и ставим схему. Но, клиент не из тупых и уже это попробовал — не сработало.

Начинаем разбираться что сломалось и кто виноват. Первым делом ДевОпс повторяет кульбиты клиента и выдает простой вердикт: «В 151 миграции лажа». Я открываю и: «батюшки родный, да это же лосенок явное указание схемы!»

Хостинг — рынок конкурентный. Чтобы выделиться, нужно не только предлагать пользователям качественные сервисы, но и грамотно их продвигать. BILLmanager предоставляет провайдерам целый арсенал маркетинговых инструментов: от CRM с сегментацией клиентов до email-рассылок, реферальных программ и рекламных механизмов.

Но сегодня поговорим об одном из ключевых маркетинговых инструментов платформы — скидках и акциях. Функциональные возможности BILLmanager позволяют запускать промоакции любой сложности: от простых скидок на тарифы до многоуровневых акций с промокодами и сегментированием аудитории. Причем все это — без сторонних сервисов и интеграции, прямо в панели управления.

После более пяти месяцев разработки состоялся выпуск 0.11.0 QuickJS-NG – небольшого встраиваемого движка JavaScript и предназначенный для поддержки последней спецификации ECMAScript.
Это форк оригинального проекта QuickJS Фабриса Белларда и Чарли Гордона, и создан после того, как QuickJS перестал развиваться, с целью возобновить его разработку.

Проект сосредоточен на следующих аспектах (но не ограничивается ими):

• Развитие сообщества
• Тестирование
• Кроссплатформенность
• Функции ECMAScript

Отличия от оригинального проекта можно посмотреть здесь. Проект написан на языке C и распространяется по лицензии MIT.

( читать дальше... )

 c, ecmascript, javascript, quickjs, библиотека

Продолжая тему, затронутую в статье об искусственном интеллекте и здравом смысле, хочу затронуть два принципиальных, но зачастую упускаемых из виду отличия мозга от искусственной нейронной сети. Во-первых, нейронная сеть состоит исключительно из «нейронов», а мозг – из нейронов и глиальных клеток. Оставлю здесь ссылку на интересную обзорную статью о глии, которую написала на Хабре уважаемая Василиса Белокопытова @vasilisa_b До недавнего времени считалось, что глиальные клетки играют в мозге сугубо вспомогательную роль и функционально подобны оболочке проводов, передающих сигнал. Однако свежие исследования, в том числе, с применением искусственных нейронных сетей, привлекают всё более серьёзное внимание к астроцитам. Это небольшие звёздчатые клетки в составе глии. Они взаимодействуют как с нейронами, так и с синапсами, и вопрос о том, могут ли они передавать нейронные импульсы, рассматривался на сайте N+1 ещё около двух лет назад. Подробнее об этом — под катом.

Сервис Яндекс.Музыка опубликовал официальное приложение для прослушивания музыки на платформе Linux. Для загрузки доступен DEB-пакет, в котором заявлена поддержка Ubuntu 22.04+ или Debian 11+. Ранее официального клиента для сервиса Яндекс.Музыка не существовало и пользователям Linux приходилось использовать неофициальное приложение, созданное путём переупаковки Windows-клиента, построенного на платформе Electron.

 музыка, яндекс

Привет, Хабр!

Каждый, работавший с формами в Angular, рано или поздно сталкивается с ситуацией, когда стандартных полей ввода недостаточно. Хочется сделать что-то свое: например, красивый рейтинг в виде звёздочек, компонент для ввода телефона с маской или даже кастомный текстовый редактор на базе contenteditable. Однако просто создать компонент недостаточно, Angular Forms не поймет, как работать с вашим контролом без дополнительных вмешательств.

Привет, Хабр!

Делали ли вы электронную визу в Индию? А, может, в Южную Корею? Или подавались на лотерею Green Card в США? Если да, то вы точно знаете, что для заявки на все эти документы надо прикрепить фотографию определённого размерас целым набором требований...

А такое ну просто необходимо автоматизировать!

И, как можно догадаться, сайтов для автоматизации фотографий на документы просто куча. Только вот есть одна проблема: все эти сайты хотят много денег - от 5 до 12 долларов за приведение фото к нужным требованиям.

Терпеть такое я, конечно же, не стал и написал своего бота в Телеграме, который делает это всё бесплатно.

Подробности под катом!

Как говорил Альберт Эйнштейн, «наиболее необъяснимое во Вселенной – это то, что она объяснима». Но что делает Вселенную познаваемой? Почему работает научный метод? Как вообще прямоходящие кожаные мешки с обезьяньим мозгом могут что-либо узнать о физической реальности, если они всю жизнь проводят в виртуальной реальности своего сознания? Ведь всё, что нам известно о мире – продукты нашего разума. Не означает ли это, что мы никогда не сможем узнать, какова реальность на самом деле? Что мы вообще знаем, если Вселенная на 95% состоит из неведомых тёмных субстанций? Откуда мы знаем, что законы физики универсальны и постижимы человеческим разумом? Где гарантия, что законы физики изотропны в пространстве и однородны во времени? Может, они варьируются от места к месту, изменялись в прошлом или изменятся в будущем? Существует ли вычислительно более мощный компьютер, чем машина Тьюринга? Вычислима ли каждая физическая система? Является ли сама Вселенная вычислительной машиной? Каковы фундаментальные физические и логические ограничения на то, что может быть вычислено и постигнуто? Есть ли вычислительный барьер, который невозможно преодолеть, независимо от того, насколько далеко и какими способами развиваются компьютеры? Или новые типы оборудования, основанные на квантовых, релятивистских или квантово-гравитационных явлениях, могут привести к принципиально новым вычислительным парадигмам и сделать невычислимое вычислимым? В этой статье мы погрузимся в глубины теоретической информатики, чтобы выяснить, каковы фундаментальные пределы вычислимости и возможны ли в нашей Вселенной гиперкомпьютеры.

На первый взгляд может показаться, что патенты — это история про какие-то супер-прорывные инновации. Лазерный двигатель, вакцина от всех болезней, или суперкомпьютер — не меньше.

На самом деле многие патенты — это небольшие, но важные улучшения существующих технологий. Какая-нибудь зубная щетка с встроенной подачей пасты или полотенце с магнитной клипсой тоже может стать запатентованным решением.

Даже если вы не профессиональный ученый, возможно вы тоже когда-нибудь придумаете какую-то клёвую штуку и подумаете «А может запатентовать?».

И вот здесь многие люди совершают одну и ту же ошибку. Патенты бывают разные, а самая распространенная ошибка — одна.

Я патентный поверенный, юрист именно по таким делам. И когда я рассказываю о патентах на вебинарах или вживую, у меня на презентации всегда есть слайд из превью к этой статье.

Почему так? Да потому что обжигаются на этом многие.

На первый взгляд слайд может оказаться не очень понятным. Но это важный опыт, поэтому давайте расскажу подробнее. А заодно разберем, что такое «авторская льгота» и как её увеличили в этом году.

Сегодня вашему вниманию предлагается третья серия - Южная Корея и её житель, скрывающийся под позывным Eggbomb.

В условиях стремительных перемен в ИТ‑сфере специалистам по тестированию необходимо быть гибкими, осваивать новые подходы и непрерывно развивать лидерские и коммуникативные навыки. Это помогает оставаться конкурентоспособными вне зависимости от технологий.

В предыдущей части мы обсудили общие аспекты ИТ Архитектуры, и подробно затронули такой ее слой, как архитектура Данных, которая охватывает все многообразие бизнес-информации предприятия, знания о потоках ее распределения, сборе, обработке и использовании, представляемой в виде различных моделей данных.

Теперь обратимся к слою Приложений, который соотнесет используемые данные и правила их обработки с компьютерными программами, для их хранения, получения и преобразования в ходе автоматизированного выполнения бизнес-процессов.

Архитектура прикладных решений (ESA –Enterprise Solution Architecture) — это организационный дизайн всего программного приложения, включая все подкомпоненты и внешние приложения, интерфейсы для их взаимодействия, а также их поведения в рамках сотрудничества структурных элементов.

Используются этот инструмент для описания модели того, как приложение будет обеспечивать жизненный цикл необходимых бизнес-процессов, соответствующих бизнес-архитектуре предприятия. Архитектура приложений покрывает достаточно широкую область, начиная с идентификации прикладных систем необходимых предприятию для выполнения бизнес-процессов, и захватывает такие аспекты, как проектирование, разработку (или приобретение) и интеграцию прикладных систем в комплексные решения.

Потому для упрощения восприятия, как правило, разделяют две основные области ее применимости:

Организация сетевого взаимодействия между филиалами всегда была сложной задачей. Технологии вроде MPLS обеспечивали гарантированное качество связи, но со временем перестали справляться с растущими потребностями.

Главная проблема традиционных сетей — неэффективное управление трафиком. Все приложения вынуждены использовать общий канал, что неминуемо приводит к перегрузкам. А механизмы приоритизации требуют сложной ручной настройки на каждом устройстве.

Помимо этого, в распределённой компании важно постоянно отслеживать качество связи, чтобы оптимизировать использование каналов, повысить отказоустойчивость и упростить подключение филиалов и устройств.

Новые сетевые технологии успешно справляются с этими задачами. Сегодня мы разберём интеллектуальную маршрутизацию. О других преимуществах современных решений для управления сетью расскажем онлайн 11 ноября — подключайтесь, регистрация по ссылке. 

Помните времена, когда браузеры были простыми? Нажимаешь на ссылку — страница загружается, может, заполняешь форму, и всё. Теперь ситуация изменилась: ИИ-браузеры вроде Comet от Perplexity обещают сделать всё за вас — кликать, печатать, думать и даже выбирать.

Но вот неожиданный поворот: этот «умный» ассистент, который помогает вам в интернете, может выполнять приказы самих сайтов, от которых должен вас защищать. Недавний провал безопасности Comet — не просто позорный случай, а учебник по тому, как не нужно строить ИИ-продукты.

Почему ИИ-агенты в реальных задачах за пределами академических экспериментов до сих пор часто наступают на хорошо знакомые грабли: путаются в деталях, не удерживают цель при длинных рассуждениях и теряют контекст использования инструментов? 

Неожиданная идея решения проблемы пришла в недавнем исследовании DeepAgent. Кажется, что дело вовсе не в размере модели и не в промтах для ее использования. Ключом к прогрессу явилась связная логика рассуждений на протяжении всей задачи. Агент не просто каждый раз делает привычный сценарий с паузой: «обдумал-предпринял действие» - а ведет мысль по длинному связнму сценарию, сам выбирает какой памятью ему пользоваться и когда применять нужные инструменты. 

В этом обзоре: что меняется в поведении агента, когда у него появляется возможность связанно использовать различные инструменты на протяжении всей задачи, какие методы используются и как это приближает нас к по-настоящему автономному ИИ.