Kurgan-Telecom Ru | Информационные технологии

Apache Kafka — это распределенная платформа, которая передает и обрабатывает данные в режиме реального времени. Ее используют для логирования, передачи событий, потоковой аналитики и интеграции микросервисов.

Для работы с данными внутри Kafka есть Kafka Streams — библиотека, которая помогает строить потоковые приложения. С ее помощью можно обрабатывать события в реальном времени, например, выполнять ETL-процессы без использования внешних систем.

В статье рассказываем, как устроен Kafka Streams, и разбираем практические примеры его применения. 

Читать далее

Собеседование по проектированию систем — одно из самых сложных испытаний для IT-специалиста. Здесь нет единственно верных ответов, зато есть десятки подводных камней: масштабируемость, отказоустойчивость, компромиссы между скоростью и надежностью. А если речь идет о машинном обучении, сложность возрастает в разы.

Как подготовиться? Изучать реальные кейсы, разбирать популярные вопросы и тренироваться мыслить как архитектор сложных систем. В этом помогут три книги, которые мы собрали в этой подборке! Читать дальше →

Серия псевдофилософских мини-эссе о работе функционального архитектора. Приглашение к рефлексии на различные темы, возникающие в работе функционального архитектора.

Читать далее

«Зачем вообще писать программу, меняющую код в процессе выполнения? Это же ужасная идея!»

Да, всё так и есть. Но это и хороший опыт. Такое делают только тогда, когда хотят что-то исследовать, или из любопытства.

Самоизменяемые/самомодифицируемые программы не обладают особой полезностью. Они усложняют отладку, программа становится зависимой от оборудования, а изучение кода превращается в очень утомительный и запутанный процесс, если только вы не опытный разработчик на ассемблере. Единственный разумный сценарий применения самоизменяемых программа в реальном мире — это механизм маскировки зловредного ПО от антивирусов. Моя цель исключительно научна, поэтому ничем подобным я заниматься не буду.

Предупреждение: в этом посте активно используется язык ассемблера x86_64, в котором я ни в коем случае не являюсь специалистом. Для написания статьи мне пришлось изучать приличный объём материалов, и, возможно (почти наверняка), в ней есть ошибки. Читать дальше →

Привет! Меня зовут Абакар, я работаю главным техническим лидером разработки в Альфа-Банке.

Сегодня мы поговорим на тему, связанную с корутинами, а именно погрузимся чуть глубже в недра компилятора Kotlin. На данную тему мы с Александром Гиревым готовили доклад на «Мобиус».

В рамках подготовки доклада нам пришлось заглянуть в святая святых для всех «андроидеров», а именно в исходники компилятора Kotlin. Ну что ж, поглядим, что мы там накопали. Поехали!

Читать далее

Когда большие языковые модели начали неожиданно хорошо отвечать на абсолютно разные вопросы и даже вроде бы выходить за те рамки, на которых их обучали, все, конечно, сильно обрадовались. Настолько обрадовались, что наращивать мощности и получать новые крутые результаты оказалось интереснее, чем выяснять, почему вообще LLM работают, как именно они хранят знания и хранят ли их вообще. Этот вопрос интерпретируемости LLM так или иначе стоял всегда, но теперь, когда мы все попривыкли к впечатляющим результатам новых моделей, стал заметнее. 

Макс Тегмарк предложил использовать механистический подход к интерпретируемости, но применять его не к алгоритмам внутри LLM, а к самим знаниям. То есть попробовать выяснить, есть ли внутри моделей какая-то закономерность запоминания или даже понимания. Сразу спойлер (а на самом деле — название статьи) — модели умны от “голода”, это  “intelligence from starvation”. Причем это общий вывод для разных моделей.

Читать далее

Эксперт отдела перспективных исследований компании «Криптонит» Никита Габдуллин предложил методику, которая поможет снизить частоту ошибок ИИ при смене данных за счёт более точного прогнозирования поведения нейросетей.

Нейросети — основа искусственного интеллекта, но они не наделены разумом. С точки зрения математика это лишь сложные математические функции, которые преобразуют входные данные в выходные через последовательность вычислений, организованных в слои.

При таком преобразовании возможны ошибки, которые трудно предугадать, а их последствия могут быть весьма плачевными. Например, неоднократно сообщалось о проблемах с автопилотами Tesla, которые допускали ошибки в распознавании объектов. Они не видели велосипедистов со спины и не замечали пустые грузовые платформы на перекрёстках, а внезапно появившиеся красные круги на придорожных рекламных стендах воспринимали как запрещающие сигналы светофора и включали экстренное торможение. В целом автопилоты склонны неверно интерпретировать условия в нестандартных дорожных ситуациях просто потому, что не сталкивались с ними во время обучения.

Другой показательный пример — история пользователя Reddit, который следовал рекомендациям ИИ от Google и попытался приготовить оливковое масло с чесноком. Казалось бы, ну какие тут могут быть последствия, кроме невкусного блюда? Однако ИИ предложил метод, который привёл к образованию культуры Clostridium botulinum — возбудителя ботулизма, опасного для жизни заболевания. Такие истории предостерегают от слепого доверия к ИИ даже в бытовых задачах.

Читать далее

Большие языковые модели (LLM) звучат впечатляюще, но всегда ли нужно их использовать? Разберемся, в каких случаях стоит использовать LLM, а когда использование малых языковых моделей (SLM) окажется более разумным и экономичным решением без потери качества.

Читать далее

Профессия юриста требует знаний огромного массива информации и умения её применять. Юриспруденция — особая сфера, специалисты которой требуют больших затрат со стороны компаний и обычных граждан. Законодательство и судебная система довольно консервативны и плохо подвержены изменениям. Но техника в целом, а теперь и искусственный интеллект, всё лучше и лучше справляется не только с хранением больших баз данных, но и с их обработкой и анализом. 

Эта область на стыке права и информационных технологий и называется legaltech. Рассказываем подробнее, что к нему относится и какое будущее у технологий в сфере права. 

Читать далее

Microsoft удивила ИТ-сообщество, возродив текстовый редактор Edit — впервые он появился в MS-DOS 5.0 в 1991 году. Edit предлагает простоту, открытый исходный код и возможности, сравнимые с Linux-редакторами вроде vim. Давайте разбираться, что такое Edit, зачем Microsoft его вернула и почему он может стать находкой для разработчиков.

Читать далее

ERC-2981 стал важным шагом к тому, чтобы NFT-авторы действительно получали справедливые роялти с перепродаж. Но работает ли это в реальности? В статье разбираемся, как устроен этот стандарт, какие задачи он решает, как его поддерживают маркетплейсы — и почему даже с его появлением вопрос с роялти остаётся открытым.

Читать далее

Всем привет! Меня зовут Дмитрий, и я занимаюсь веб-разработкой в IT-компании Intelsy, работая как на аутсорс-, так и на аутстафф-проектах. В своей работе я постоянно сталкиваюсь с задачами, связанными с датами и временем, и давно заметил, что стандартный объект Date в JavaScript часто доставляет много неудобств.

Мне захотелось разобраться, почему так происходит и какие современные решения помогают упростить эту работу. Это привело меня к изучению нового API Temporal — перспективного инструмента для более точной и удобной работы с датой, временем и часовыми поясами.

Читать далее

Где-то между континентами на дне океана рвется кабель. Через него шел интернет для целого континента — и теперь начинаются сбои в банках, звонки не проходят, бизнес тормозит. В этот момент в порт выходит ремонтное судно: его цель — найти повреждение, достать кабель с глубины и вернуть связь.

Всем привет! Меня зовут Лев, я специалист продуктовой поддержки в Selectel. Под катом расскажу, как проводят ремонт подводных оптических кабелей: кто этим занимается, как ищут обрыв на километровой глубине и каким образом восстанавливают оптическое волокно посреди моря. Читать дальше →

Привет, меня зовут Вадим Медяник, я технический директор ИТ-компании BPA. Я регулярно участвую в реализации проектов, где используется машинное обучение и компьютерное зрение — от первых обсуждений с заказчиком до вывода решения в прод. Со временем накопилось достаточно практики, чтобы выделить повторяющиеся этапы, типичные ошибки и решения, которые реально работают.

Это практическое руководство собрал для коллег и команд, кто работает с подобными проектами — или только планирует. Здесь нет задач про state-of-the-art или подбор идеальных архитектур. Скорее хочу пройтись по каждому этапу — с чего начать, о чём спросить бизнес, где обычно «сыпется» проект, и что помогает пройти до конца. Рассчитано на тех, кто хочет разобраться в базовой структуре CV/ML-проекта, будь то инженер, аналитик или управленец. Если понадобится — можно будет углубиться в технические детали отдельно. Для удобства разделил весь путь подготовки CV-проекта на несколько основных этапов.

Читать далее

С вами снова Кирилл Богатов, дизайнер разговорных продуктов в KODE. В прошлом году я записался на курсы по театральной импровизации. Там мы разыгрывали сценки, работали с зажимами и учились не бояться выглядеть нелепо. Наши занятия часто заканчивались игрой в «Принцессу, Дракона, Рыцаря» — это как «камень-ножницы-бумага», только вместо фигур в ней нужно изображать фэнтезийных персонажей. Своего рода мини-спектакль на пару секунд.

Концепция игры показалась мне идеальной для переноса на голосовые колонки. В этой статье расскажу о том, что из этого вышло.

Читать далее

Привет, меня зовут Федоров Кирилл, я менеджер продукта компании Forecast NOW!. Мы делаем систему для прогнозирования спроса, автозаказа и управления запасами. В конце прошлого года мы выпустили новую версию с обновленным интерфейсом. В статье расскажу о том, почему решили менять интерфейс, как тестировали новые наработки и с какими сложностями столкнулись в процессе. 

Читать далее

Общее количество всех команд во всех этих расширениях — 1342 инструкции!

От комментариев воздержусь, оставлю эту привилегию читателю ))

При этом SIMD на RiscV очень хвалят, как очень продуманный, минималистичный, при этом мощный и выразительный: https://www.youtube.com/watch?v=lwIBp6cc-HY

Читать далее

C 2019 года мир привыкал к новой реальности и приспосабливался к удаленной работе. На дворе 2025 год и теперь вызов для распределенных команд — не просто организовать совместную работу вне офиса, но и подготовиться к блокировкам сервисов, к которым уже успели привыкнуть. Как организовать работу небольшой команды разработчиков (до 50 человек), если у вас нет отдела DevOps и бесконечного бюджета на on-premise и облака, а каждый новый день доступных сервисов становится всё меньше? В статье постараюсь ответить на этот вопрос.

Я Олег Юрчик — старший python-разработчик, сейчас работаю в Cloud.ru За последние два года я организовывал инфраструктуру для трех небольших команд (до 15 человек), а еще около двух лет держу домашний сервер с семейной инфраструктурой: файлохранилище, менеджер паролей, календарь, книгу контактов и так далее. Хочу поделиться, к каким решениям я пришел за это время, а также пошагово, но не вдаваясь в подробности, рассказать, как развернул собственную цифровую крепость.

Читать дальше

Перспективная технология сначала какое-то время ищет своё место на рынке, а затем уже закрепляется – и зачастую не там, где планировалось. Из примеров, которые приходят на ум: SMS разрабатывался как технический канал связи между инженерами и операторами мобильных сетей, детский пластилин Play-Doh в 1930-х был инновационной смесью для обработки обоев от сажи и пыли, а исследования радиолокации в ходе РЭБ стали микроволновками на наших кухнях. Кажется, что Deepfake пока что не «устаканился» на каком-либо из рынков (хотя киноиндустрия – наиболее вероятный претендент) и пока находится в стадии активного поиска.

Разумеется, чем более прорывной является технология, тем сильнее возникает соблазн использовать «тёмную сторону силы»: согласно Юнгу, Тень всегда стремится к проявлению – иногда так, что полностью заменяет собой Персону – это справедливо и для рыночных ниш. Дипфейк не уникален: когда-то давно порох изначально был атрибутом праздника (фейерверки), а динамит помогал шахтёрам прокладывать тоннели, но если бы мы с вами сейчас играли в игру «100 к 1», это были бы далеко не самые популярные ответы о применении пороха и динамита. Возможно, люди скоро забудут о том, что airTag на самом деле помогает искать потерянные вещи, а вовсе не следить за неверными мужьями – рынок иногда преподносит сюрпризы, оставляя поиск ответа на вопрос «почему?» грядущим поколениям. «Серый» функционал часто является фоновым сопровождением для основного назначения, и иногда с этой проблемой приходится активно взаимодействовать на старте самой компании-прародителю.  Например, подделка документов и фото в Photoshop в какой-то момент вылилась в  инициативу компании Adobe по созданию Content Authenticity Initiative (CAI)  и проекта C2PA.  Однако если на рынке не сложилась система взаимной ответственности, внутри которой имидж бенефициаров находится в плотной ассоциативной связке с неоднозначным продуктом, то работа по «обелению» становится неприоритетной. Создаётся впечатление, что подчёркивать светлые стороны deepfake для широких масс пока что не представляется нужным или возможным – слишком много «грязной» работы придётся проделать.

Читать далее

Публикуем примеры взлома информационной инфраструктуры четырех объектов. Под раздачу попали: банк, два дата‑центра и умный дом. Как видно из заголовка, только три варианта произошли в реальности, а один мы выдумали сами. Ответы — в конце статьи.

Полагаем, что учиться на чужих ошибках всегда приятнее, чем на своих, поэтому желаем приятного чтения.

Читать далее