Kurgan-Telecom Ru | Информационные технологии

Многие думают, что достаточно пройти курс по Pandas и ты готов к работе, а потом сталкиваются с реальными задачами и не знают что им делать.

В статье разобрала по полочкам:
– Что реально нужно знать про Python до того, как лезть в датафреймы
– 20+ методов Pandas, которые покроют 80% задач
– Какие графики и чем рисовать
– Библиотеки для статистики и SQL – минимум, но необходимый
Без воды, списками и примерами.

Часто использую ChatGPT и другие нейросети для работы: обсуждаю идеи, пишу код, прошу объяснить сложные темы. В итоге в чате накапливаются сотни сообщений. И тут начинается хаос:

Нужно найти функцию, которую обсуждали утром? 5 минут скролла вверх в поисках нужного места — и я уже потерял нить разговора. Приходится начинать заново.

Отдельная боль — потеря контекста моделью. Пишешь код, а модель внезапно «забывает» техническое задание из начала диалога. ChatGPT просто обрезает контекст, а понимаешь это только спустя 10 минут потраченного времени.

В голове крутилась идея, как это исправить. Минутный поиск готовых решений не дал, поэтому сделал собственное расширение.

Иногда нужно получить SSH-доступ к домашнему серверу (ноутбуку или мини-серверу на Ubuntu), который находится за NAT/CGNAT провайдера. Публичный IPv4 отсутствует, а использовать VPN или облачные туннели (ngrok, Cloudflare Tunnel и т.п.) не хочется.

Один из простых способов — обратный SSH-туннель с помощью autossh + проксирование через уже существующий Xray-клиент (VLESS + Reality), который и так работает для выхода в интернет.

Vostok Linux

Это небольшой рассказ о маленьком проекте и большой мечте — сделать что-то классное. Но без помощи и поддержки, в одиночку, это сделать очень сложно, поэтому надеюсь, что у кого-то отзовется моя история.

Привет, Хабр! Я люблю слушать книги, но не все есть на Литрес и Storytel. Особенно это касается профессиональной литературы, фанфиков, статей и документов — всего того, что вряд ли когда-нибудь озвучат профессиональные дикторы.

Я поняла, что нейросетевые голоса уже достаточно хороши для комфортного прослушивания. И подумала: а что если сделать Telegram-бота, которому можно просто скинуть файл — а через пару минут слушать аудиокнигу в удобном плеере прямо в Telegram?

Так родился VoiceBooks — open-source сервис для озвучки книг, который работает полностью бесплатно.

В этой статье я разберу архитектуру open-source проекта: как организован парсинг 6 форматов в единый пайплайн, как работает фоновая генерация аудио без Celery и RabbitMQ, и как элегантно обойти лимиты Telegram Bot API на загрузку файлов.

Стек: Python 3.12, FastAPI, aiogram 3, Edge TTS, SQLAlchemy 2.0 + PostgreSQL. Деплой — Railway.

Это несколько текстов, основной из которых — Autoresearch: Минимальный «агентский цикл» Карпаты для автономного экспериментирования с LLM . Пытаемся подробно разобраться в работе минималистичного ИИ-агента для исследований, предложенного Андреем Карпаты в начале марта. Это веха в истории ML, показывающая один из путей (хотя и не идеальный — и об этом тоже есть в статье) совершенствования ИИ. Бонус! Анализируем также весь python-код и инструкции агенту. Для всех, кто перешагнул уровень "спроси у ChatGPT" и задумывается о чём-то большем, но не знает, с чего начать...

Если вы занимаетесь аналитикой в ритейле, логистике или просто любите копаться в геоданных, то наверняка сталкивались с задачей оценки насыщенности региона точками присутствия.

Многие используют кластеризацию или простые scatter plot'ы, но когда точек становятся тысячи, они сливаются в одну черную кляксу. Сегодня мы на конкретном примере разберем, как превратить «кучу точек» в понятную и красивую инвертированную тепловую карту, где сразу видно — где у нас «белые пятна» (низкая конкуренция), а где рынок уже перенасыщен.

Разбираем почему классический формат GoogleEarth проигрывает современному стандарту в скорости, удобстве и интеграции с веб-картами.

Всем привет. Меня зовут Никита, я руковожу командой Цикл‑ОН. Мы уже более 5 лет ведем проекты по заказной разработке ПО и, как и многие, сталкиваемся с необходимостью разработки не только качественного кода, но и документацию на продукты. В нашей нише особенность, что заказчики живут в парадигме ГОСТа. Я бы здесь хотел оставить небольшую заметку о нашем опыте — как то, что для начаиналось как откровенное мучение превратилось сначала в умную идеологию, а по итогу в самостоятельное решение для подготовки документации.

В марте 2023 я написал статью «ChatGPT: новый инструмент в борьбе с багами». Показал как нейросеть генерирует тест-кейсы, ищет XPath-локаторы и пишет SQL-запросы. 40 000+ просмотров. Первая статья на эту тему в рунете.

Ты сейчас подумал «ну и что, таких статей теперь тысячи». И ты прав. Но подожди.

За 3 года я прошёл путь от «вау, ChatGPT написал мне 10 тест-кейсов» до «я один собрал образовательную платформу за неделю». И это НЕ кликбейт.

В этой статье — мой путь, мой стек, мой workflow, конкретные цифры по деньгам и времени, и ошибки, которые я сделал, чтобы ты их не повторял.

Стандартная библиотека Python содержит множество инструментов, которые значительно упрощают решение задач спортивного программирования, но многие из них остаются незамеченными начинающими участниками. В статье собран краткий конспект по наиболее полезным модулям и функциям стандартной библиотеки с небольшими примерами.

Я не OpenSource разработчик, но за пару десятков лет написал под сотню enterprise-level библиотек, которые остаются в рабочем контуре, дорабатываются под каждый проект и адаптируются к новым технологиям. Большого смысла выходить в OSS не было, кроме как для упрощения обучения коллег и единого места хранения документации.

Но и желание помогать другим и делиться выстраданными подходами, экспертизой и конкретным кодом мне не чуждо - сегодня поможешь ты, завтра - тебе. Через полгода подготовки и адаптации к OpenSource (сам использую и дорабатываю около 8 лет) в свет выходит одна из библиотек моего рабочего контура - Reactive Route.

Так как я работаю с проектами на разных стеках, стараюсь писать код максимально framework-agnostic - независимыми слоями, которые можно заменить или переписать, не трогая остальной код проекта. А к фреймворкам и библиотекам для работы с состоянием они подключаются с помощью легковесных адаптеров, сохраняя синтаксис работы. Конкретно для Reactive Route выложил набор готовых адаптеров в комбинациях, которые сейчас чаще всего использую:

• React + MobX / Observable

• Preact (no compat) + MobX / Observable

• Solid.js + нативная реактивность / MobX / Observable

• Vue + нативная реактивность

В одном npm-пакете - строгая TS-типизация, SSR / MPA / no-JS / Widget режимы и тщательно протестированная отказоустойчивость. В статье не буду пересказывать документацию на русском и английском, а поговорю скорее про общие принципы качества, использование ИИ в разработке и почему многие библиотеки раздуваются, не успев даже стабилизировать ядро.

Несколько лет назад я запустил проект по долгосрочному хранению продуктов. Это моя первая статья на Хабре. В ней я не буду рассказывать о своём продукте, она будет посвящена задаче, которую я решал, и как инженерные принципы сформировали моё решение. Статья, как я смею рассчитывать, будет интересна тем, кто задумывался о теме автономности, пробовал искать точки отказа в своём сложившемся образе жизни или для тех, чьи мысли об автономности все еще находятся на уровне «бункер и тушёнка».

Что если бы вы могли за несколько кликов узнать, сколько времени понадобится жителю любого города и района мира, чтобы дойти до больницы, школы или магазина? Именно это делает CityAccessMap — интерактивная платформа, которая анализирует доступность городских сервисов в 10 000 городах по всему миру, превращая абстрактную концепцию «города 15 минут» в точные цифры и цветные карты.

Как фулстек разработчику, мне доводилось работать с проектами на совершенно разных технологиях. Как правило, нужно было поправить небольшой баг или сделать небольшую фичу. Для задач такого разряда стек технологий обычно не имеет значения: отладка примерно одинаковая что на JavaScript, что на Haskell, Go или Python.

Написать немного кода мне, в общем-то, никогда не было сложно на любом языке, с которым я работал.

Но вот что всегда было настоящей проблемой — это запустить и протестировать проект. На это запросто уходили дни: найти нужные версии компиляторов/интерпретаторов, дебаггера, пакетного менеджера и всякого сопутствующего тулинга.

Я устал от этого, и придумал, как больше никогда в жизни не устанавливать тулинг вручную.

В мае 2001 года DARPA разослала запрос предложений под сухим названием «Electronic Market‑Based Decision Support». Суть: покажите нам, что рынки предсказаний работают для задач разведки. К декабрю две фирмы получили гранты. Проект назвали FutureMAP, а его публичную часть — Policy Analysis Market — задумали как биржу фьючерсов на политические события Ближнего Востока.

Перевороты, удары, смены режимов. Трейдеры ставят деньги, агрегированная цена дает оценку вероятности — честнее, чем отчет аналитика, который пишет то, что хочет услышать начальник.

28 июля 2003-го сенаторы Дорган и Уайден вытащили проект на пресс‑конференцию. На демо‑скриншотах кто‑то из разработчиков для красоты вписал примеры контрактов: «убийство Арафата», «ракетный удар КНДР». Заголовок написал себя сам — «федеральный тотализатор на терактах». Пентагон свернул всё за сутки. Глава подразделения Джон Пойндекстер подал в отставку.

Это был первый случай, когда идея prediction markets столкнулась не с логической, а с моральной стеной. Экономически PAM был абсолютно здрав — Университет Айовы к тому времени годами предсказывал выборы через торговлю фьючерсами точнее любых опросов. Но оказалось, что существуют решения, которые общество отказывается отдавать рынку не потому, что рынок ошибётся, а потому что сама постановка вопроса в формате ставки — непристойна. Политическая гигиена победила эпистемическую эффективность.

Идеи, которые лежали в основе PAM, принадлежали Робину Хансону из Джорджа Мейсона. Он пошёл дальше спецслужб и в 2000-м сформулировал футархию — систему, где голосованием выбирают только цели, а способ достижения определяет рынок. Хочешь рост ВВП? Открой два условных рынка: «ВВП через год при политике А» и «ВВП через год при политике Б». Где цена выше — то и делаем.

Эд Торп — математический вундеркинд, который придумал, как «обыграть дилера» в блэкджек, будучи аспирантом Массачусетского технологического института. Выдающийся трейдер и инвестор.

Его имя стало синонимом точного, логичного и научного подхода к тому, что миллионы считают во многом делом удачи — азартным играм и финансовым рынкам. Человек, который не просто обыграл казино, но и перевернул представление о трейдинге и инвестициях, заложив основы алгоритмической торговли задолго до того, как кванты появились на Уолл-стрит.

Вторая часть цикла статей про криптовалюты и потенциальные возможности вложений в них с точки зрения долгосрочного инвестирования.

В этой части я сразу перейду от истории к настоящему времени, попробую переключиться и довольно крупными мазками описать состояние крипты на текущий момент. Начну с самого крупного.

Эта статья продолжает цикл воспоминаний разработчика тренажёрных комплексов. Несколько лет назад наша команда столкнулась с задачей создания эмулятора автоматизированной системы управления технологическим процессом (АСУ ТП) для одной из тепловых электростанций. Задача выглядела стандартной и несложной: воспроизвести логику контроллеров, разработать мнемосхемы и запустить модель.

Однако реальность внесла свои коррективы. Исходных данных не хватало, сроки были крайне ограниченными, ресурсов недостаточно, а первая версия интерфейса HMI, созданная на собственном проверенном, но морально устаревшем инструменте проектирования, не соответствовала требуемым характеристикам производительности и масштабирования.

Цель настоящей публикации — поделиться опытом разработки эмуляторов АСУ для учебных тренажёрных комплексов, рассмотреть типы симуляций, привести пример архитектуры подобного решения, коснуться используемых технологий и языков программирования, описать часто возникающие трудности и предложить способы их преодоления.

Этап «давайте сначала изучим стандарты» при обучении веб‑разработке иногда сразу пропускают (или рассматривают буквально в двух словах), переходя к фреймворкам, абстракциям и решениям, которые за тебя уже приняли авторы этих фреймворков.

В этой статье мы разберем все 9 методов HTTP-запросов, опираясь на тексты документов, которыми эти методы определены (RFC 9110 и RFC 5789).

Статья подойдёт тем, кто делает первые шаги в веб-разработке и хочет понять HTTP глубже, чем это позволяют туториалы фреймворков.