Kurgan-Telecom Ru | Информационные технологии

Даже на небольшой плате может понадобиться несколько напряжений.

Как будем питать плату? Сколько потребляют разные экраны? Какие топологии преобразователей выбрать?

В данной части рассмотрим эти и другие вопросы. Спроектируем систему питания и станем ещё на шаг ближе к завершению разработки схемы основной платы!

Полетели! :)

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи.

В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio.

Итак, что же такое Data Studio ?

Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста.

С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое.

Общий процесс создания языковой модели для перевода выглядит так:

1) Предобработка данных: этап подготовки данных перед обучением модели.

2) Фильтрация с использованием структурных и семантических фильтров.

3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка.

4) Тегирование для классификации данных.

5) Загрузка общего набора данных в Data Studio для проверки.

6) Создание данных для валидации и тестирования модели.

7) Обучение модели.

Читать далее

Хоррор-игры прямо обещают нам: будет страшно. Мы ожидаем мрачную музыку, гнетущую атмосферу, опасности за углом. За это мы их и любим. Однако подлинное ощущение ужаса часто настигает там, где его никто не ждал, — в играх, созданных вовсе не для этого. Детские платформеры, фэнтезийные квесты, мирные симуляторы жизни, RPG. Они внезапно дарят опыт тревоги, ломают доверие к игровому миру и порождают глубоко личный страх. Что делает эти моменты по-настоящему пугающими? Почему, казалось бы, безобидные игры запоминаются криповыми сценами сильнее, чем жанровые ужастики? Это явление заслуживает отдельного разбора. Присоединяйтесь. Читать дальше →

Кажется, что исследовать собственные продукты очень легко. Но это утверждение верно только для относительно простых b2c-продуктов. В исследовании использования b2b-продуктов много неочевидных сложностей и подводных камней. Рассказываем, как это происходит у нас в MANGO OFFICE.

Читать далее

Я получил тестовое задание от Volka Games написать простую изометрическую игру. С учетом того что я ни разу даже не слышал о такой вещи как Haxe хотелось сразу отказать, но высокая вилка сделала свое дело.Сделав его за отведенный срок я получил отказ. Как всегда без внятной обратной связи. Поэтому хочу поделиться результатом своей работы.

Читать далее

Еще пару лет назад я считал себя «классическим» продуктом. Знал пользователей, гонял дизайнеров, выкапывал инсайты, пинал разработку — все как учили. Но в последнее время начал замечать странную штуку: лента вакансий как будто перекроили. Вместо привычного Product Manager всё чаще вижу TPM. Technical Product Manager. Technical Program Manager. Technical ещё что‑то. Причём зарплаты те же или выше. А требования — местами совсем другие.

Сначала я это игнорировал. Ну подумаешь, слово «technical» прицепили. Потом — напрягся. Потому что под капотом оказалось: от тебя ждут не просто roadmap на квартал и пару фичей в прод, а полного погружения в архитектуру, понимания API, базы данных, CI/CD, пайплайнов, очередей, да ещё и умения всё это дело засинкать между 3 командами параллельно.

В какой‑то момент я начал задаваться вопросом: а я вообще кто?

Читать далее

Привет, меня зовут Андрей и я автоматизатор (остальные в кругу хлопают в знак сочувствия) в hh.ru. В статье расскажу, как мы ввели карантин автотестов, повысив стабильность релизов и скорость доставки.

Читать далее

Организм человека — это удивительный механизм, обладающий множеством функций. Однако далеко не все в нем идеально. Многие травмы или заболевания приводят к повреждениям, которые не поддаются заживлению ввиду ограниченной регенерации. К таким травмам относится повреждение спинного мозга, что часто приводит к потере двигательных функций. Вылечить это невозможно, но технологии могут это изменить. Ученые из Оклендского университета (Новая Зеландия) разработали имплант, передающий слабые электрические токи непосредственно в поврежденные спинной мозг, тем самым имитируя естественные сигналы развития, регулирующие рост, деление и дифференцировку клеток, что способствует заживлению. Из чего сделан данный имплант, как именно он работает, и насколько он эффективен? Ответы на эти вопросы мы найдем в докладе ученых. Читать дальше →

Ребалансировка инвестиционного портфеля позволяет контролировать риск и не давать ему отклоняться от заданных параметров. Кроме того, при правильном подходе ребалансировка приносит "избыточную доходность".

Читать далее

Если задать вопрос искусственному интеллекту “зачем нужна ERP-система” мы получим следующий ответ:  

«ERP‑система нужна для упрощения, автоматизации и эффективного управления бизнес‑процессами в организации. Она собирает важные данные в одном месте, чтобы их анализировать и решать задачи бизнеса.»

В ERP-системах также есть специальные модули для управления складскими запасами, производством, закупками, финансами, продажами и другими аспектами деятельности компании. Каждый модуль необходимо адаптировать под конкретные потребности предприятия, поэтому ERP-проекты не заканчиваются годами, а бюджет растёт на глазах. Обновлять такую систему практически невозможно, поскольку она сильно изменена под задачи бизнеса. 

А есть ли смысл внедрять все эти модули или проще воспользоваться специализированными решениями? 

Наша команда часто работает с заказчиками, которые находятся в начале пути внедрения ERP-системы, и еще чаще — с теми, кто занимается этим уже много лет.

Представители первой группы заказчиков полны энтузиазма, они говорят рекламными слоганами интеграторов ERP-систем, рассказывают о быстрых сроках внедрения и широких возможностях системы, которые закроют все их задачи. 

А что говорят опытные пользователи ERP? Часто они жалуются на то, что функциональность системы недостаточна для решения поставленных задач, в системе хаос, много ошибок из-за ручного ввода данных в систему. Система не подходит для оперативного планирования производства, поскольку перестройка плана занимает часы, и когда план построен, он автоматически становится актуальным и т.д.. Самое главное, что говорят опытные пользователи, — если бы можно было начать проект заново, они бы выбрали максимально коробочное  решение и использовали систему как инструмент учета и источника данных для других систем в ИТ-инфраструктуре компании. 

Читать далее

Несколько лет назад у меня на прошлой работе состоялась интересная дискуссия с коллегой из отделения микроэлектроники. Его посыл заключался в том, что производительность в инференсе нейронных сетей на GPGPU от NVIDIA превосходит наше решение в связи с использованием более продвинутого тех. процесса, более высоких тактовых частот и из-за большей площади кристалла. Как программист, я не мог с этим согласиться, но на тот момент ни у кого не было времени и желания проверить эту гипотезу.

Недавно в разговоре с уже нынешними коллегами мне вспомнилась эта дискуссия и я решил довести это до конца. Для этого был подобран ближайший аналог от NVIDIA с точки зрения микроэлектроники: фабрика, тех.процесс, площадь кристалла и потребляемая мощность. В результате была выбрана видеокарта GT730 и произведено сравнение с устройством NM Card от НТЦ Модуль.

Читать далее

Привет, Хабр! Это тимлид DS группы ранжирования и поиска Дана Злочевская и тимлид группы разработки Михаил Нестеров из Lamoda Tech. 

Как и у любой крупной e-commerce платформы, данные — наш главный актив. Они помогают бизнесу принимать обоснованные решения, а пользователям — получать персонализированный, качественный опыт во всех продуктах Lamoda.

Поэтому в продакшене ежедневно работают десятки ML-пайплайнов, а в Airflow запускаются сотни DAG-воркфлоу. Данные готовят и используют более 100 специалистов из самых разных команд: аналитики, дата-сайентисты, ML-инженеры, маркетологи — у каждой свои задачи и логика работы с ними. 

Однако с ростом команд, задач и инфраструктуры мы начали сталкиваться с рядом системных проблем:

• Разрозненные подходы к подготовке данных. Каждая команда собирала данные «под себя», по своим правилам и в своем формате, что приводило к дублированию информации и нерациональному использованию вычислительных ресурсов.

• Дублирование логики. Одни и те же преобразования выполнялись в разных пайплайнах с минимальными отличиями — это не только неэффективно, но и увеличивает риск ошибок.

• Сложности с переиспользованием. Найти нужные данные, понять, как они были получены, и интегрировать их свой пайплайн — становилось нетривиальной задачей.

• Рост time-to-market. На каждый новый ML-продукт или эксперимент у команд уходило всё больше времени просто на «разогрев»: сбор данных, выравнивание форматов, отладка пайплайна.

Тогда мы поняли, что пора систематизировать наш подход к хранению и работе с датасетами, и реализовали собственный фреймворк на основе Apache Spark — Feature Storage, который сейчас является стандартом в компании. А позже мы выделили отдельное решение для специфичных кликстрим-данных — Action Storage.

В этой статье мы хотим поделиться нашим опытом построения этих инструментов и рассказать, как со временем эволюционировал наш подход к хранению данных в Lamoda Tech. Надеемся, он будет вам полезен и подарит парочку интересных идей.

Читать далее

Yarrow AI учит языкам и в своей основе это не LLM, а логическая машина. Такие системы эффективны, но их очень сложно наполнить данными: приходится каждое знание/правило вносить в базу данных вручную. Это было одной из причиной их вымирания 30 лет назад. Мне удалось решить эту проблему попутно убив одним выстрелом еще пару зайцев.

Изначально я сгенерировал курс английского языка с помощью GPT, он содержал море галлюцинаций. Были наняты профессиональные переводчики для выверки, но они пропускали много ошибок и быстро отваливались: "Это работа не для естественного интеллекта". И вот, редакторами стали сами пользователи приложения: я объединил их в большую команду с помощью ядра Yarrow AI, а вместо зарплаты они получают возможность учиться бесплатно.

Читать далее

В мире существует как минимум несколько десятков производителей вычислительной техники, в разное время выпускавших портативные компьютеры, — и все они на слуху. В этом ряду особое место занимает компания Kaypro, чьи переносные персоналки когда-то были сверхпопулярны, имели обширную аудиторию верных поклонников, и считались чуть ли не эталоном компьютеров для деловых людей. Но потом все это вдруг куда-то исчезло, и про Kaypro с ее продукцией сегодня помнят лишь единицы, интересующиеся историей IT. О том, почему это произошло — наш сегодняшний рассказ.
Читать дальше →

Привет, Хабр!

Это команда Eppie. Мы разрабатываем p2p почту, в которой пользователи владеют своими адресами и данными. Про данные мы уже говорили, сегодня остановимся на адресах.

Читать далее

Кажется, никому из читателей Хабра не нужно объяснять, насколько сложным процессом является разработка авиационной техники и комплектующих. Мы часто читаем об этом. Понятно что, длительность процессов разработки, высокие требования к безопасности, строгие формальные процедуры, сложность конструкции и многодисциплинарность научных подходов – вот причины, по которым средний цикл разработки воздушных судов (ВС) составляет 5-10 лет и не всегда заканчивается успешно.

Читать далее

Привет! Это команда курса «Аналитик данных» в Яндекс Практикуме. Собрали подборку полезных ресурсов для тех, кто только начинает осваивать визуализацию данных или хочет расширить арсенал инструментов и источников вдохновения. Здесь вы найдёте книги, статьи, онлайн-ресурсы и телеграм-каналы, которые помогут разобраться, как правильно, наглядно и красиво представлять данные.

Читать далее

Всем привет, меня зовут Миша, и я разрабатываю платформу Яндекс Еды. Первые компоненты были написаны почти 10 лет назад (когда Еда ещё была стартапом Foodfox), и у нас накопилось много кода, который просто хорошо работает, а иногда даже «работает — не трогай». Но в процессе развития и устоявшиеся части системы нужно трогать, про что мои коллеги уже писали — как мы повышали версию PHP, пилили монолит и снимали нагрузку с БД. 

Наконец настал черёд рассказать про процессинг заказов доставки еды из кафе и ресторанов (а также продуктов из магазинов и многого другого). За годы эволюционного развития он значительно разросся, что стало заметно затруднять дальнейшее развитие — например, изменения, связанные с выходом на новые рынки, — а также влиять на надёжность. 

Поэтому мы решили вынести процессинг заказа в отдельный специализированный сервис. Чтобы определить, что выносить, а что оставлять, нужно было составить исчерпывающий и актуальный список процессов, которые происходят с заказом. И здесь мы столкнулись с вызовом: это знание распределено по многим людям и документам, поскольку на протяжении долгого времени в процессинг заказов вносили изменения многие команды. И перед нами встал вопрос — как собрать нужную информацию о системе с заметной долей легаси быстро, да так, чтобы информация была актуальна?

Читать далее

Глобус Набокова это глобус Земли, который размещен таким образом, чтобы условия его освещения Солнцем совпадали с условиями освещения Земли в космическом пространстве. Глобус Набокова дает возможность видеть терминатор и его движение по поверхности Земли, найти подсолнечную точку и примерно оценить местное время в любой точке Земли.

Читать далее

Вы когда-нибудь задумывались, как автоматизировать планирование контента? Ну типа вообще всё: от тем до готового текста с эмодзи, ссылками и заголовками? Я — да. И решил, что хватит тратить часы на повседневные дела. Сделал себе схему. Мини-заводик. Суперпростая логика: Google Таблицы → ChatGPT → Google Таблицы обратно.

Читать далее