Потоковая выгрузка из PostgreSQL в CSV: серверный курсор и COPY
В прошлый раз я разобрал самые такие три жизненных примера работы с выгрузками.
Наивный способ через память, постраничку через OFFSET/LIMIT и через keyset курсор. Но было бы несправедливо остановиться на этом и не протестировать другие оставшиеся варианты. Два способа, которые я хочу рассмотреть - это серверный курсор pg-query-stream и выгрузка напрямую из базы через COPY. В этой статье дальше будут примеры с кодом, но сам по себе код не информативен, самое главное - что я прогоню эти два новых варианта через тот же бенчмарк, чтобы сравнить нагрузку на память и время выполнения.
Читать далееНа одном из проектов мы активно использовали Chaos Destruction. Разрушаемой была заметная часть окружения: стены, панели, ящики, элементы уровня. Системой разрушений целиком занимался я, а требования прилетали с двух сторон.
Арт и лиды хотели, чтобы всё разрушалось физически убедительно: панели отваливаются, куски стен падают, осколки сталкиваются друг с другом и с другими физическими объектами. Было и принципиальное требование: осколки не исчезают. Упал кусок стены и остался лежать, значит, там он и лежит. По обломкам на полу игрок понимает, что здесь произошло, и для арта это был художественный след, который нельзя стирать.
Техарт смотрел на это с другой стороны. На одном из проходов по производительности стало видно, что в сцене лежит много осколков, которые почти не двигаются, но продолжают участвовать в физике. Они толкаются в куче, цепляются за соседей, не засыпают тогда, когда нам нужно, и всё это складывается в нагрузку на CPU.
Просто выключить физику сразу после отделения нельзя: осколку нужно отыграть разрушение, упасть, занять своё место. Иначе куски повиснут в воздухе или поверхность под ногами игрока поменяется в неожиданный момент. Нужно было устроить и арт, и техарт, причём так, чтобы настройка каждого следующего ящика не превращалась в отдельную инженерную задачу.
Читать далееНа GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду.
Эксперимент проводили на Kubernetes-кластере с четырьмя NVIDIA A100 по 80 ГБ. У каждого участника был собственный кластер, на котором можно было разворачивать модели, менять конфигурацию и измерять производительность.
Помимо квантизации, на занятии разбирали NVIDIA Dynamo, маршрутизацию запросов с учётом KV-кеша, автоматическое масштабирование и разделение prefill/decode между GPU.
Материал основан на статье инженера Siim Tolk, опубликованной 4 ноября 2026 года.
Читать далееПростой вопрос: что такое качество? Ерунда, все же знают ответ.
А теперь попробуйте обсудить то же самое с соседом. Дискуссии и дебаты вам обеспечены, потому что в голове соседа качество — не то же самое, что в вашей. То же самое случится, если задать этот вопрос на планёрке любого ИТ-проекта: соберутся десять взрослых людей, у каждого своё качество, и ни у одного — не то, что у заказчика.
А вот теперь можно посмотреть умное определение качества ПО из ГОСТа.
Качество системы — это степень удовлетворения системой заявленных и подразумеваемых потребностей различных заинтересованных сторон, которая позволяет, таким образом, оценить её достоинства.
Читать далееTL;DR. Пять месяцев ИИ-агент пишет производственное планирование для завода, который раньше жил в Excel. Я не читаю код вообще. Контроль вынесен в четыре вещи: правила, которые агент читает перед каждой задачей; тесты как контракт к каждому жёсткому правилу; храповик, который не даёт тестам слабеть молча; и ТЗ, которое растёт вместе с эксплуатацией. Это всё по отдельности не ново, но агент держит всё это вместе, синхронно при каждой правке. В командах людей обычно такой синхрон рассыпается на втором месяце. Ниже цифры за пять месяцев, включая набитые шишки и два случая, где модели попроще разобрали те же задачи, что и Opus: каждая сторона нашла то, что пропустила другая.
Читать далееПривет! Это моя первая статья на Хабре. Хочу рассказать, как я пришёл к созданию собственной библиотеки для игр на Rust, а затем написал 3D-движок для неё.
Читать далееOpenAI анонсировала ChatGPT Wallet — новую платёжную функцию, позволяющую ИИ‑агентам совершать покупки от имени пользователей. Компания начала сотрудничать с такими крупными эмитентами карт, как American Express, Mastercard и Visa.
Читать далееЧто важнее для кредитного скоринга: 50 000 заявок или 500 реальных дефолтов?
Я сравнил TabPFN-2.5 и CatBoost на 3 млн обезличенных банковских заявок. Эксперимент показал: при одинаковом количестве дефолтов увеличение обучающей выборки в 25 раз практически не меняет ROC AUC.
В статье 60 экспериментальных конфигураций, сравнение двух моделей, анализ ошибок и попытка найти баланс между качеством предсказаний и вычислительными затратами.
Почему количество редких событий может оказаться важнее объёма данных — разбираемся на реальном банковском скоринге.
Читать далееИсторически развертывание приложений на базе Node.js на физических серверах или виртуальных машинах (VPS) опиралось на менеджеры процессов, среди которых стандартом де-факто стал PM2. В традиционных операционных системах PM2 решал фундаментальные задачи однопоточной природы Node.js: перезапуск при сбоях, автоматический запуск после перезагрузки ОС, ротацию журналов и вертикальное масштабирование на все доступные ядра центрального процессора посредством модуля cluster среды выполнения. Однако фундаментальный сдвиг в сторону микросервисной и контейнерной архитектуры видоизменил распределение ответственности между компонентами инфраструктуры.
В экосистеме Docker базовой парадигмой является изоляция одного процесса в рамках одного контейнера. Попытка интеграции PM2 внутрь Docker-контейнера создает избыточный архитектурный слой — супервизор над другим супервизором. Демон Docker вместе с оркестраторами (Docker Compose, Kubernetes, Nomad) самостоятельно отслеживает жизненный цикл контейнеров, реализует политики перезапуска (restart: unless-stopped) и собирает метрики. Если внутри контейнера запускается стандартный демон PM2, дочерний процесс Node.js может аварийно завершиться или зависнуть в цикле утечки памяти, но для внешнего оркестратора контейнер продолжит отображаться как работоспособный, поскольку процесс самого менеджера PM2 остается активным.
Начиная с версии 12, фреймворк Next.js предлагает встроенный режим сборки output: "standalone". Данный механизм задействует алгоритм трассировки файлов зависимостей (@vercel/nft), сканирует дерево импортов и генерирует минимальный рабочий каталог .next/standalone. В него помещаются исключительно используемые в продакшене модули и скомпилированный HTTP-сервер server.js. Это позволяет отказаться от громоздкой команды next start, требующей наличия всей исходной директории node_modules, и сократить размер итогового образа Docker с 1–1.5 ГБ до компактных 100–150 МБ.
Читать далееИндекс поисковика Brave — отдельный вход в ответы нескольких нейросетей: Brave продаёт доступ к нему ИИ-компаниям и сам называет Perplexity среди клиентов. Если страница не выходит в Brave Search, этим сервисам её взять неоткуда, и в их ответы она может не попасть, как бы хорошо ни стояла в Google и Яндексе. В замерах видимости в ответах ИИ-моделей я сохраняю, на какие источники Perplexity ссылается в каждом ответе, и эти логи удобно сверять с выдачей Brave. Сама проверка занимает несколько минут: одну страницу смотрят вручную, список — запросом к Brave Search API.
Читать далееTLDR: Если мотор вентилятора не крутится, но при этом всё исправно и мотор запускается от ЛБП, замените EC7 с заводского 10 мкФ/400В на 470 мкФ/25В; обязательно установите параллельно конденсатору два-три включенных последовательно мощных стабилитрона мощностью не менее 5 Вт каждый и суммарным напряжением открытия 12..25В (например, три 1N5342BL с напряжением открытия 6,8В). При выпаянном EC7 стабилитрон(ы) можно припаять на ножки разъема CN1. После доработки убедитесь, что питание мотора поступает через нагреватель с бОльшим сопротивлением (т.е. обороты мотора меньше) – так и должно быть с завода, но в некоторых местах написана ошибочная рекомендация по переключению на нагреватель с меньшим сопротивлением для увеличения оборотов мотора. Правильное расположение проводов: синий (ближе к разъему мотора), черный, белый.
Читать далееИсправление ошибок с помощью ИИ становится всё более распространённой практикой при разработке ядра Linux, заявил основатель проекта Линус Торвальдс. Он отмечает, что в только что выпущенной версии 7.4-rc2 присутствует всё больше исправлений, подготовленных с участием ИИ.
Читать далееВсе повсеместно внедряют ИИ‑агентов где надо и где нет. Периодически сеть развлекают новости о том, как очередной из них сначала выполняет rm -fr /* или что‑то в этом роде, а потом пишет: «Извините, я все удалил. Хотите помогу начать проект с чистого листа?»
Решение напрашивается само собой.
Ограничить агентов →ИИ-фильтр Роскомнадзора за 2,27 млрд рублей: что известно, а что пока только догадки
13 ноября 2026 года Forbes, а за ним Meduza, 3DNews и SecurityLab сообщили, что Роскомнадзор внедрил систему фильтрации трафика на основе машинного обучения. Источник один: паспорт ведомственной программы цифровой трансформации Роскомнадзора на 2026 год и плановый период 2027–2028 годов. Разберём, что в нём названо прямо, что добавляют эксперты, и где начинаются догадки.
Читать далееУ человека был старый ноутбук. На нём он навайбкодил себе fb2-читалку, чтобы читать прямо из браузера, с тёмной темой и настройками под себя. Пользовался постоянно. Потом купил новый ноутбук, а перенести читалку со старого было лень - пара движений руками, но лень.
Он не перенёс. Он навайбкодил вторую. “Ещё лучше”.
Кто-то в комментариях не удержался, “Fbreader уже существует. Можно просто установить и пользоваться. Неблагодарите :)”. Ответ был коротким и по существу, “FBreader какой-то устанавливать, пыхтеть мириться с его странностями - не моё. Двадцать минут вайбкода и у меня есть необходимый минимум, всё остальное от лукавого”.
Это не спор про читалки. Это спор про то, чем вообще стал персональный софт за последний год.
Читать далееMozilla закрывает Solo — сервис для создания и хостинга веб‑сайтов на базе больших языковых моделей. Все сайты и данные будут удалены 30 ноября.
Читать далееЭх, как же давно люди начали мечтать об аугментических приспособах, органических роботах / компьютерах, синтетических железах… как, собственно, и мы иногда мечтать продолжаем, особенно после просмотра CтарТреков, Звездных войн, Вархаммера 40k и другого Sci-Fi, но не одними мечтами живет дело. А для дела полезно заглянуть не только в наши тела да в выращенные в лабах препараты мозговых тканей [1], мышц и эндокринной системы, но и во внутрь того самого, что некоторые «мечтатели» горят страстным неуёмным желанием вогнать в наши тела…
Читать далее13 ноября 2026 года исследователи Allen Institute for AI (Ai2) представили XYBench, бенчмарк для проверки способности языковых моделей распознавать подобные ситуации. В него вошло 8 115 вопросов из программирования, технической поддержки и повседневных задач. Авторы протестировали Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro.
Результаты выявили
Читать далееMicrosoft выпустила внеплановое (out‑of‑band, OOB) исправление для Windows 11, которое должно решить проблему с лицензированием и активацией. Ранее с багом столкнулись некоторые корпоративные клиенты.
Читать далееМодем отдаёт в Android сырые IQ-отсчёты: 7,68 MS/s, около 5 МГц полосы, 8 бит. Телефон сам рисует спектр и водопад, демодулирует AM, FM, SSB и CW и пишет IQ в файл. Ниже 1000 МГц роль гетеродина играет Bluetooth того же телефона, это, пожалуй, самая необычная часть.
В статье расскажу, как это устроено: доработка платы, патч прошивки модема Qualcomm Hexagon, ядро, приложение, измерения в сравнении с RTL-SDR V4 и приём спутников на 1,7 ГГц.
Читать далее