В МойОфис мы не только выпускаем ПО для бизнеса и частных пользователей, но и активно сотрудничаем с образовательными организациями. Продукт «МойОфис Образование», включающий в себя приложения для работы с текстами, таблицами и презентациями, появился в нашей линейке семь лет назад. Все это время мы развиваем его возможности с учётом потребностей целевых пользователей: добавляем новые инструменты и оптимизируем имеющиеся функции.
В начале апреля мы выпустили большое продуктовое обновление 2.8. В том числе он затронул «МойОфис Образование»: продукт версии 2.8 был улучшен для ещё более удобного и эффективного выполнения академических задач. Какие возможности появились в обновлённом решении и как они могут быть полезны при работе с документами, читайте под катом.
Читать далееОчевидный для ML-инженера факт: если на вход модели подать мусор — на выходе тоже будет мусор. Это правило действует всегда, независимо от того, насколько у нас крутая модель. Поэтому важно понимать, как ваши данные будут храниться, использоваться, версионироваться и воспроизведутся ли при этом результаты экспериментов. Для всех перечисленных задач есть множество различных инструментов: DVC, MLflow, W&B, ClearML и другие. Git использовать недостаточно, потому что он не был спроектирован под требования ML. Но есть инструмент, который подходит для версионирования данных и не только — это ClearML. О нем я сегодня и расскажу.
Читать дальше →Sun Microsystems произвела настоящую революцию в сфере вычислительной техники. Всего за десять лет она из небольшого стартапа превратилась в лидера отрасли, выпустила более 10 млн устройств и вошла в рейтинг крупнейших мировых компаний Fortune Global 500. Рассказываем, как ей это удалось и почему победа над конкурентами сменилась поражением и привела к поглощению некогда флагмана IT-сектора.
Читать далееПривет любителям котиков! Меня зовут Юля, я backend‑разработчик компании CDEK. Я сама не так давно изучала все эти сложные понятия в программировании, поэтому решила помочь и вам разобраться с одним из них.
С какой стороны IT вы бы не пытались войти — в какой‑то момент столкнётесь с понятием REST API. Эта статья создана, чтобы смягчить данное столкновение. Новые темы всегда легче воспринимаются на простых примерах, ну а если это примеры с котиками, то варианта не разобраться просто нет. Хочется обойтись без сложных научных определений, а рассказать самым простым языком. Поэтому, если вы любите сухие и точные формулировки, то вам нужна другая статья :)
Читать далееНа скриптовых языках удобно разрабатывать… И на этом удобство заканчивается. Вне машины разработчика начинаются проблемы. Особенно если вы пишете какой-то прикладной тулинг — cli-утилиты, вспомогательные приложения в вашем SDK и прочее. Вы даже не можете рассчитывать на то, что у пользователя будет pip, чтобы он смог поставить все ваши зависимости, вам все нужно организовать самостоятельно.
В этой статье поговорим о различных формах распространения Python-приложений. Какие есть подходы и инструменты, почему они могут не сработать и как чинить возникающие проблемы.
Если вам покажется, что в чем-то я ошибаюсь, добро пожаловать в комментарии. Буду рад услышать любые альтернативные точки зрения. Кроме, как я уже отметил в заголовке, рекомендации переписать все на Go/Rust/You name it :) Этот холивар мы уже проходили.
Читать далееC помощью cloud-сервисов можно решить множество задач бизнеса — например, организовать централизованное управление корпоративной ИТ-инфраструктурой, разместить клиентские приложения и обеспечить высокую доступность веб-ресурсов при пиковых нагрузках, сократить затраты на серверы и сетевое оборудование.
Но деплой в облаке — задача нетривиальная. Нужно подготовить код и среду, проверить работоспособность и доступность сервиса. Есть открытые решения, которые упрощают этот процесс. Некоторые из них уже набрали популярность — например, Piku и Dokku. Но мы решили поговорить о менее известных, но не менее интересных утилитах, позволяющих запустить коммерческие проекты и снизить расходы на администрирование: Kamal, Qovery, Cuber и MicroK8s.
Читать далееПродолжаем знакомство с Nix и NixOS. В прошлых статьях мы научились собирать пакеты Nix (деривации), а теперь попробуем написать универсальный скрипт сборки, который можно было бы использовать для сборки множества пакетов.
Люка Бруно продолжает свой захватывающий рассказ.
Читать далееТема экономики совместного потребления обсуждается уже не так активно. Из нее больше не делают альтернативу привычным бизнес-моделям, да и интерес СМИ к теме угас. При этом шеринг никуда не делся, а его принципы приживаются повсюду. Даже там, где его идеологи и не надеялись — в облачных решениях для бизнеса.
В статье поделюсь соображениями, почему облачные вычисления оказались лучшим отражением принципа «пользоваться, а не владеть». Дело не только в цене.
Читать далееПреследуя Диабло, нефалем попадает в очередную западню Белиала. Погруженный в смертельный кошмар владыкой обмана, герой должен повторить былые победы над воплощениями зла, чтобы пробудиться. Однако в этот раз из-за необъяснимых искажений реальности, свойственных кошмарам, он обречён на поражение. Но вдруг к нему на помощь является загадочное существо, а вместе с ним возвращается и надежда.
Читать далееПривет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.
Что делает наша команда
Команда работает с данными по рекрутингу — с любой аналитикой, которая необходима персоналу подбора сотрудников. У нас есть различные внешние или внутренние источники, из которых с помощью NiFi или Apache Spark мы забираем данные и складируем к себе в хранилище (по умолчанию Hive, но есть еще PostgreSQL и ClickHouse). Этими же инструментами мы можем брать данные из хранилищ, создавать витрины и складывать обратно, предоставлять данные внутренним клиентам или делать дашборды и давать визуализацию.
Описание задачи
У нас есть внешний сервис, на котором рекрутеры работают с подбором. Сервис может отдавать данные через свою API, а мы эти данные можем загружать и складировать в хранилище. После загрузки у нас появляется возможность отдавать данные другим командам или работать с ними самим. Итак, пришла задача — нужно загрузить через API наши данные. Дали документацию для загрузки, поехали. Идем в NiFi, создаем пайплайн для запросов к API, их трансформации и складывания в Hive. Пайплайн начинает падать, приходится посидеть, почитать документацию. Чего-то не хватает, JSON-ы идут не те, возникают сложности, которые нужно разобрать и решить.
Ответы приходят в формате JSON. Документации достаточно для начала загрузки, но для полного понимания структуры и содержимого ответа — маловато.
Мы решили просто загружать все подряд — на месте разберемся, что нам нужно и как мы это будем грузить, потом пойдем к источникам с конкретными вопросами. Так как каждый метод API отдает свой класс данных в виде JSON, в котором содержится массив объектов этого класса, нужно построить много таких пайплайнов с обработкой разного типа JSON’ов. Еще одна сложность — объекты внутри одного и того же класса могут отличаться по набору полей и их содержимому. Это зависит от того, как, например, сотрудники подбора заполнят информацию о вакансии на этом сервисе. Этот API работает без версий, поэтому в случае добавления новых полей информацию о них мы получим только либо из данных, либо в процессе коммуникации.
Читать далееПри запуске новых плат и устройств с PCIe-соединениями недостаточно просто вставить карту в слот. Нужно так настроить эквалайзеры, редрайверы, пресеты и ретаймеры, чтобы на каждой полосе «поднялся линк», то есть установилось соединение. Это значит, что приемопередатчики на обоих концах распознали друг друга, договорились о кодировке и скорости передачи.
Долгое время без специального дорогостоящего инструмента нельзя было убедиться в устойчивости линка: что он не пропадает при малейших воздействиях температуры, влажности или любопытных лапок. То есть нелегко было узнать количественный запас по уровню сигнала, насколько он близок к границе потери различимости физических уровней — а значит, и разрыва соединения. Эта безнадежная ситуация изменилась с появлением четвертого поколения стандарта PCIe.
Читать далееПривет, Хабр! Сегодня мы покажем флагманский смартфон Honor Magic 6 Pro и расскажем о его возможностях. Этот телефон весьма производителен и функционален, несмотря на устоявшееся мнение о том, что продукция Honor — это бюджетные модели с базовым функционалом. Можно сказать, что именно после выхода Honor Magic 6 Pro ситуация изменилась. Давайте разберёмся, какие преимущества и недостатки есть у этого смартфона. Подробности — под катом.
Читать далееПривет, Хабр! В данной статье я хочу поделиться своим опытом токсичного общения с коллегами, начиная с первой встречи с HR-менеджером и заканчивая работой внутри команды. Такое поведение, на мой взгляд, серьезно подрывает мотивацию и нормальное взаимодействие в команде при решении возникающих проблем. Оно также заставляет задуматься о целесообразности работы в такой атмосфере. Ведь зачем оставаться на месте, где отношения между коллегами вызывают столько дискомфорта?
Читать далееВсем привет, на связи Пётр, инженер компании Nixys. В прошлой статье мы разобрали основные концепции Redis. Теперь рассмотрим базовую репликацию Redis и настроим эту БД на высокий уровень отказоустойчивости.
Читать далееКоллеги из ИБ-отдела финансовой организации рассказали нам, как недавно атаковали их ИТ-специалистов — эту статью мы написали вместе с CISO, который активно участвовал в расследовании.
Кажется, что ИТ-специалисты должны лучше разбираться в интернет-мошенничестве из-за специфики работы, но навыки разработки или управления сетевыми устройствами не дают человеку иммунитет от кибератак.
Первый сотрудник попался на обновленную схему с фейковым голосованием и отдал мошенникам аккаунт в Телеграме вместе со всеми переписками. У второго сотрудника пытались выманить 100 тысяч рублей, но он вовремя обратился за помощью к своей команде безопасности и сохранил деньги.
На примерах атак покажем, почему фейковые голосования работают даже на матерых специалистах, как защититься от схемы и научить всех сотрудников отражать атаки.
Читать далее