Kurgan-Telecom Ru | Информационные технологии

Привет, Хабр! Я Алексей Колосков, DevOps‑инженер Hilbert Team. Сегодня я расскажу вам историю о компании, которая из маленькой облачной инфраструктуры выросла до сложного решения с использованием Infrastructure as Code (IaC) и Terraform. И, как это часто бывает, в процессе роста учли не всё. Все персонажи вымышлены и любые совпадения случайны (ну, почти).

В этой статье покажу грабли, на которые можно наступить при росте облачной инфраструктуры, и расскажу, как их обойти.

Министерство обороны США опубликовало отчет о контактах с НЛО с любопытными статистическими данными и историями. В частности, речь пойдет как о визуальных контактах, так и пересмотре самого термина НЛО, который становится бесполезен в эпоху дронов.

Расширенная информация по аварийности, причинам, последствиям и результатам
контрольно-надзорной работы Ростехнадзора, к сожалению, отсутствует в открытом доступе, но, мне все-таки удалось ознакомится с двумя очень интересными исследованиями по этому опросу. Рассмотрим анализ статистических данных по аварийности на объектах нефтегазодобычи РФ и полученные авторами закономерностей (https://ogbus.ru/article/view/12745, https://doi.org/10.17122/ntj-oil-2021-3-91-104)

Привет, Хабр!

Эта статья — о том, как кастомизировать функции потерь в CatBoost.

Стандартные функции потерь хороши для типовых задач, но в нашей суровой жизни часто требуются специфичные решения. Например, может понадобиться усилить внимание модели на редких классах или минимизировать разные типы ошибок в зависимости от их влияния на бизнес..

Всем привет!

Продолжаем говорить о поступлении в Школу анализа данных Яндекса, а именно про подготовку по математике. Обсудим с чего начать, что входит в программу экзамена и какие бесплатные ресурсы помогут выстроить эффективную подготовку (в статье около 50 ссылок на книги/курсы), а в конце статьи поговорим про плюсы и минусы платной подготовки

Перед тем как написать эту статью, я почитала материалы в интернете и заметила, что чаще всего о задачах аналитиков данных рассказывают через призму инструментов. Мне кажется, это не совсем правильный подход — как будто анализировать данные можно только в Python, а строить графики исключительно в Tableau. Конечно, это не так.

В своём рассказе я буду отталкиваться от бизнес-потребностей. Ведь аналитик — это не тот, кто просто строит красивые графики или проводит исследования ради самого исследования, а тот, кто помогает бизнесу принимать обоснованные решения на основе данных. А какой инструмент он выберет, во многом зависит от того, какие задачи перед ним ставит компания и что больше подходит для решения этих задач. 

Дисклеймер: я в основном работала с интернет-рекламой, сайтами и геймдевом. Мой опыт связан с интернет-продуктами, и многое из того, что я расскажу, будет релевантным именно для этих сфер. При этом я ничего не понимаю в банковской сфере, и, возможно, там типовые задачи выглядят по-другому. 

В 1864 году вышла книга под названием «Спектропия», посвящённая описанию того, как мозг может обмануть людей, заставляя их поверить в то, что они видели призрака. На 27 страницах автор Дж. Х. Браун описал, как читатель может вызвать жуткие образы, если посмотрит на одну из 16 иллюстраций «призраков», а затем сразу же посмотрит на глухую стену. Полученная оптическая иллюзия не была сверхъестественным явлением: она была результатом научного явления, известного как послеобразы.

Браун хотел, чтобы «Спектропия» стала оплотом защиты от растущей волны увлечения спиритизмом — религиозным течением, утверждавшим, что живые могут общаться с мёртвыми, как правило, с помощью медиумов и спиритических сеансов. Биография Брауна, в том числе то, как он оказался настолько хорошо осведомлён в науке того времени, утеряна для истории. Но из его трудов ясно, что он был ярым антиспиритуалистом. Как утверждал Браун в книге «Спектропия»:

Любопытно, что в наш век научных исследований абсурдные глупости спиритизма должны находить все больше сторонников; но психические эпидемии, похоже, в определённые времена поражают наши умы, и одно из старейших моральных заболеваний — колдовство — снова распространено в этом XIX веке, скрываясь под презренными формами спиритизма и столоверчения.

Часть 1. Как создавался Chronos

Привет, Хабр. Для начала, разрешите представиться. Меня зовут Елисеев Сергей, работаю аналитиком в лаборатории ИИ компании ООО «ОЦРВ». В  рамках корпоративной деятельности нам часто приходится иметь дело с временными рядами. Нужно отметить, что мы исследуем не только решения и результаты применения классических методов машинного обучения, но и изучаем новые технологии и подходы к работе с большими данными.  В процессе  анализа SOTA решений, наткнулся на очень интересный фреймворк для прогнозирования временных рядов Chronos, который компания Amazon выкатила в опенсорс в мае 2024 года. С удивлением обнаружил, что на Хабре пока ничего про него нет и решил поделиться, так как инструмент вполне годный. Поскольку информации о нашем исследовании собралось довольно много, я решил разбить статью на две части: теоретическую и практическую. Сразу оговорюсь, изложенная в первой части информация это конспект переведенной мной официальной документации по Chronos, а во второй – результаты экспериментов с Chronos как на общедоступных данных с Kaggle (знаменитый Dow Jones Index), так и на корпоративных данных (предсказание инцидентов на различных участках  железной дороги).

 Итак, погнали…

Прогнозирование временных рядов.

Прогнозирование временных рядов является важным компонентом принятия решений в различных областях, включая розничную торговлю, энергетику, финансы, здравоохранение и климатологию. Традиционно прогнозирование доминировалось статистическими моделями, такими как ARIMA и ETS. Эти модели служили надежными инструментами, по крайней мере, до недавнего перехода к методам глубокого обучения (Hyndman & Athanasopoulos, 2018; Benidis et al., 2022). Этот переход можно объяснить доступностью больших и разнообразных источников данных временных рядов, а также возникновением операционных задач прогнозирования (Kolassa & Januschowski, 2019), которые подчеркивают сильные стороны моделей глубокого обучения, как пример, способность извлекать шаблоны из большого количества временных рядов. Несмотря на их впечатляющую производительность, модели глубокого обучения все еще работают в стандартном режиме обучения и прогнозирования на одном и том же наборе данных. Хотя были проведены работы, посвященные трансферному обучению (Ye & Dai, 2018) и адаптации к доменам (Jin et al., 2022) для прогнозирования, область еще не пришла к единой, универсальной модели прогнозирования, что остается важной целью для исследователей временных рядов.

Вопрос формирования лучших практик управления ИТ становится всё актуальней—на hh.ru появились вакансии. Некоторые продвинутые предприятия начинают формирование собственных библиотек управленческих решений. Практики управления завязаны на конкретные особенности организации, такие, как организационная структура, процессная архитектура и зрелость, производственные особенности. Вместе с тем, есть общие моменты, которые могут быть полезны для всех. Вроде бы управление лучшими практиками —дело, не хитрое, но не такое уж и простое. Рассмотрим типичную схему работы контакт-центра.

В последние десятилетия наука о климате стремительно развивается, количество собранных данных прогрессивно растёт, подходы к изучению климата меняются от простых описаний к сложным прогнозам, а методы обработки и анализа данных совершенствуются, включая использование технологий больших данных и искусственного интеллекта.

Антарктида, расположенная на Южном полюсе, с экстремальными температурными условиями и удалённая от цивилизации, представляет собой уникальное место для изучения климата. Предварительные исследования температурных трендов в Антарктиде, основанные на данных метеорологических станций, показали, что они соответствуют общим климатическим тенденциям, но с меньшими колебаниями, в частности, было зафиксировано незначительное потепление, характерное для нашего времени.

Проблема анализа динамики температур является ключевой в контексте оценки климатических изменений на планете. Изменение климата представляет собой одну из самых серьезных угроз для будущего человечества, поскольку оно может привести к серьезным экологическим, экономическим и социальным последствиям. Как глобальное потепление, так и вероятность наступления нового ледникового периода создают риски для существования человеческой цивилизации.

Сотрудники кафедры «Экология» МТУСИ проанализировали климатические изменения на полюсе и разработали прогностическую модель с использованием полносвязной нейронной сети для предсказания температурных изменений в Антарктиде. Структура данной модели нейронной сети включает количество слоев, нейронов, параметры активации, функции потерь и оптимизатор.

Привет, всем! В данной статье мы расскажем о Highly Available исполнении CI/CD платформы Gitorion. В данном случае платформа размещается в двух дата центрах. При отказе любого из дата центров команда разработчиков может продолжить непрерывную интеграцию и доставку в выжившем дата центре.

Все самые важные и интересные финансовые новости в России и мире за неделю: беды российских застройщиков, фейковое ускорение Ютуба, новый налог на интернет-рекламу, ИИ врезался в «стену» (или нет?), а также тотальная токенизация всех активов мира от Tether.

В данной статье представлен обзор двух вариантов датчиков для измерения толщины нити, проволоки, линии. Такие датчики можно применять для измерения толщины филамента, интенсивности спектральных линий, числа капель, штрих-меток и  др.  

            В продаже можно найти различные по конструкции и цене:

Начнем с небольшой истории. Как-то раз я с размахом накинулся на проект — в духе нынешних фреймворков всё было обложено компонентами, декларативный стиль царил, все шло идеально… ну почти. Дошел я, значит, до нужды контролировать DOM-узлы напрямую. И что вы думаете? Прямого доступа нет, React закрыл от меня этот мир, сидит и ухмыляется: мол, мы тут за производительность боремся, зачем тебе что-то трогать руками?

Но мы не из тех, кто сдаётся, верно? React предлагает своё решение — рефы, и именно о них сегодня пойдет речь.

В этой статье я подключу в проект внешний файловый сервер https://min.io и напишу дополнительные бэкенд и фронтенд модули для интеграции с ним.

Выбрали четыре, на наш взгляд, лучших бесплатных систем управления контентом (CMS) для интернет-магазина.

У всех CMS из нашего списка:

Понятные функции и интерфейс — в большинстве CMS не нужны глубокие знания программирования, разберется даже начинающий. В открытом доступе к каждой CMS есть документация и гайды по настройке.

Настройка за счет плагинов. Можно дополнить каждую CMS плагинами — дополнениями, которые устанавливаются поверх основного приложения и расширяют его возможности. Например, с помощью плагинов можно подключить к сайту сервис курьерской доставки или мессенджеры для общения с клиентами.

Открытый исходный код — можно доработать CMS под задачи проекта.

Привет Хабр! Меня зовут Татьяна Ошуркова, я разработчик, аналитик и автор телеграм-канала IT Talks. В продолжение к одной из моих предыдущих статье по user stories, где я подробно рассказала про различные техники работы с пользовательскими историями, в этой статье я разберу семь разных методик к проработке и уточнению пользовательских историй: INVEST, MoSCoW, DEEP, 3Cs, SMART, Kano Model и RICE.

Привет, друзья! Сегодня рассмотрим реализацию паттерна «Строитель» в Java. Паттерн может превратить необъятный хаос параметров в аккуратную и управляемую конструкцию. И всё это на примере наших пушистых друзей — котиков.

Когда дизайнер проектирует что-то сложнее посадочной страницы, возникает необходимость в разных состояниях экранов. Чаще всего дизайнеры получают одни и те же правки: «Тут нужен лоадер» или «Как выглядит ошибка?». Полный набор состояний никогда не появляется без пинка аналитика.

Годами я наблюдаю бессмысленный пинг-понг. Дизайнер рисует экран и ждёт ревью. Аналитик через пол дня открывает ссылку и просит дорисовать состояние загрузки. Задачка висит в статусе «ин-прогресс» и не уходит в разработку. Сроки растягиваются, релизы переносится.

Сегодня разберёмся с запросами и состояниями экрана раз и навсегда. На примере ресторана узнаем, как приложение общается с сервером и как процессы на бэкенде влияют на интерфейс. Чек-лист по отрисовке всех состояний экрана ждёт вас в конце статьи.

Продолжаем истории быдлокодера, который пытается стать миллионером. В данном тексте вас ждет новое слово в науке и технике, а также очередные поучительные истории внедрения инженерного софта в суровых условиях зоны рискованного земледелия среднерусской возвышенности и солнечного ковбойского штата Техас. 

Этот текст у меня родился после посещения конференции, где наш заказчик (внезапно для нас) рассказал, как он с помощью нашей библиотеки моделирования теплогидравлических систем и библиотеки нейронных сетей обрабатывает данные, полученные с летательных аппаратов, используя 1D математическую модель системы кондиционирования воздуха.