Если спросить у питониста: «Чем парсить сайт?», — в большинстве случаев он ответит Selenium или Beautiful Soup. И будет по-своему прав — это два главных направления в мире парсинга на Python.
Selenium, со всем своим множеством форков, наследников и схожих по принципу библиотек, — инструмент мощный. Он отлично подходит для сложных сценариев, работы с динамическими сайтами и автоматизации действий пользователя в браузере. Но за это удобство приходится платить: Selenium требует немало системных ресурсов и работает заметно медленнее.
Beautiful Soup (или просто «суп») — полная противоположность. Он лёгкий, быстрый и прекрасно справляется с «простыми» сайтами, где нет интерактивных элементов и сложного JavaScript.
В этой статье я расскажу об альтернативе Beautiful Soup — библиотеке Selectolax, воплощающую в себе простоту использования и высокую скорость работы.
Если вам интересны подобные материалы и проекты, подписывайтесь на Telegram-канал «Код на салфетке» — там я делюсь гайдами для новичков и полезными инструментами.
Читать далееМожно ли объяснить модели, что такое «уютно», «романтично» или «пофоткаться»? Мы попробовали — и оказалось, что даже самые субъективные ощущения можно превратить в метрику.
В этой статье рассказываем, как с помощью мультимодальных моделей, промптов и немного магии мы собрали датасеты, обучили классификаторы и научились ловить вайбы на фотографиях кафе и ресторанов.
Узнать про вайбы2022 год стал переломным для инженерных профессий в России. Санкции и массовый уход западных компаний закрыли доступ к привычным технологиям, а потребность в собственных разработках и производствах выросла кратно.
Предприятия столкнулись с острым дефицитом кадров — компании нуждаются в выпускниках технических ВУЗов, предлагая им работу еще на этапе учебы.
За три года кардинально изменились подходы к найму инженеров, уровень зарплат, требования к компетенциям и система подготовки специалистов. В этой статье — детальный разбор того, как трансформировался рынок труда инженеров: динамика вакансий, зарплатные разрывы между отраслями и регионами, новые практики найма и изменения в инженерном образовании.
Читать далееВ этом тексте я произвел обзор Си-шной реализации протокола iso-15765 (он же ISO-TP), которую можно свободно скачать с сайта github в репозитории DevCoons.
Определил достоинства и недостатки данной реализации ISO-TP протокола.
Читать далее
Запуск нового магазина — это бизнес-процесс, включающий в себя пару десятков этапов. Если контролировать всё вручную или работать «костыльно», вряд ли торговая точка откроется в планируемые сроки, а компанию ждут финансовые потери. Расскажу, как автоматизировать этот этот процесс на базе BPM-платформы. Это решение подойдёт розничных и оптовых торговых сетей, супермаркетов и дарксторов.
Читать далееПодробное описание аргументов, доступных при создании воркеров в Node.js и как их можно использовать для многопоточки в серверном JavaScript
Чё ещё за аргументы?Всем привет! Меня зовут Кирилл, я руковожу отделом аналитики в Профи.ру, и ко мне регулярно приходят с вопросом коллеги из других компаний или знакомые айтишники: «Ну что, уже юзаете иишку? LLM уже помогает с гипотезами?»
На это я обычно отвечаю: «Ребята, давайте сначала найдём живого аналитика, которому можно доверить деньги и решения».
Это куда труднее, чем кажется.
Сегодня я хочу подробно рассказать, каких специалистов мы ищем в команду прямо сейчас и почему ТОЧНО не хотим заменять их на ИИ.
Читать далееТриггер роста волос прячется в жировых клетках организма. Лёгкое раздражение кожи может спровоцировать переход жировых клеток в «режим паники», посылая сигналы спящим фолликулам, которые в свою очередь стимулируют рост новых волос в течение нескольких недель.
Читать далееВесной этого года Андрей Глащенко, руководитель направления средств разработки и партнер в Haulmont, в интервью поделился подробностями о том, как компания пришла к работе с открытой моделью и развивает глобальные продукты.
На днях я поинтересовался у Андрея, как обстоят дела с новыми open source-проектами, а также узнал некоторые подробности о маркетинговых практиках и подходах к взаимодействию с аудиторией. Далее — делюсь расшифровкой разговора.
Читать далееРазработчики нередко сталкиваются с задачей написания инструкций. Каждый новый функционал требует подготовки документации, сопровождающейся созданием скриншотов, форматированием текста и тщательным редактированием. Эти процессы отнимают много времени и сил.
О том, как мы разработали сервис, который упрощает процесс и значительно снижает время на подготовку инструкций читайте в этой статье.
Все эти разговоры про корпоративную культуру, заботу и то, что «мы семья», звучат красиво, пока не открываешь рабочие чаты.
Сотни сообщений без смысла, игнор просьб, срочные задачи в полночь — вот настоящая «корпоративная культура». Я собрал семь самых больных кейсов, и решил разобраться, можно ли их «вылечить».
Читать далееАвтономный транспорт давно вышел за пределы закрытых полигонов и футуристичных историй. Он уже работает и приносит пользу бизнесу и людям. В России тягачи Navio два года возят реальные грузы коммерческих клиентов по трассе М-11 «Нева». А в США, Китае или Европе можно совершить поездку на роботакси. Тем не менее, восприятие технологии остается противоречивым. Видео, где автомобиль без водителя в салоне не может выехать с кольцевого перекрестка или воспринимает человека в майке с надписью STOP как команду к действию, усиливают скепсис и снижают доверие к результатам разработчиков. Почему компании, которые работают над технологией с 2009 года [больше 15 лет], не смогли добиться ее стабильной работы.
Классический подход в разработке автономного транспорта
Алгоритмический подход признан классическим в разработке автономного транспорта. Логическая архитектура построена на основе последовательности действий водителя за рулем:
восприятие окружающего мира — набор сенсоров (радары, лидары, камеры);
определение местоположения — карты, модуль позиционирования, сенсоры;
предсказывание действий других объектов вокруг — алгоритмы на базе кинематической составляющей и модели динамики объектов;
планирования пути — руководство к действию или свод правил, основанный на правилах дорожного движения (ПДД);
управление — модуль внутри автомобиля приводит его в движение.
Этот код пишется 15 лет и никогда не будет завершен
Несовершенность классического подхода обнаружилась на этапе планирования пути. При алгоритмическом подходе условия прописываются вручную (what-if сценарии). Автономное транспортное средство принимает решение на основе типа объекта (автомобиль, пешеход, др.), дальше добавляются такие условия, как состояние дорожного покрытия, погода, светофоры, другие объекты. Все это ведет к экспоненциальному росту проверок вложенных условий. Обладая достаточным парком автомобилей, за несколько лет разработчик может закрыть самые часто встречающиеся сценарии на дороге. Следующие несколько лет проездов выловят более редкие случаи и укрепят базу. Но остается открытым вопрос, что делать с уникальными ситуациями, как человек в футболке с надписью STOP или объездом препятствия в месте, где обгон запрещен разметкой. Невозможно вручную прописать все условия заранее, мир сегодня слишком непредсказуем. Такой подход не позволит масштабировать технологию и обеспечить ее стабильность на 100%, особенно в условиях города. Такая бесконечность сценариев называется Long Tail.
Читать далееВсем привет! Это снова Эрик, инженер технической поддержки из Ринго, и мы продолжаем разговор о пакетах в экосистеме Apple. В первой части мы разобрали теорию: изучили устройство PKG-файлов, познакомились с Gatekeeper и нотаризацией, научились инспектировать пакеты с помощью встроенных утилит. Теперь перейдём к практике — будем создавать и переупаковывать пакеты.
Читать далееЗдравствуйте, уважаемые читатели. Сегодня мы предлагаем вашему вниманию текст, который приоткрывает некоторые аспекты нашей авторской кухни. Пост получился благодаря тому, что своим авторским опытом с нами поделился уважаемый Владислав Светлаков из Минска, выпустивший у нас книгу "Архитектура бэкенда. API для надёжных корпоративных приложений". Книга отлично продаётся у нас чуть менее трёх месяцев и продолжает разработку большой темы проектирования API. Ранее мы выпустили другие подобные книги, большинство из которых ориентировано на поддержку и доработку бэкенда. Важнейшие из них:
Читать далееВ современном менеджменте не принято волноваться о счастье сотрудника, о его удовлетворённости работой и адекватной организации, где люди могли бы спокойно трудиться. Более того, многие компании регулярно давят на сотрудников, загоняют в регулярные переработки и хронический хаос, всячески способствуют стрессу.
Исследования доказывают, что современный садистский менеджмент только вредит долгосрочным результатам компании. А сам успех может быть достигнут только с помощью счастливых сотрудников.
Из всего множества в 10 с лишним тысяч исследований я выбрал 2 десятка самых показательных, чтобы показать прямую связь между текущим счастьем сотрудника и будущими результатами бизнеса.
Счастливый сотрудник - успешная компания.
Понять важность счастья для будущегоВчера компания Anysphere выпустила Cursor 2.0 - крупнейшее обновление своего AI-редактора кода. Новая версия представляет собой не просто набор улучшений, а концептуальный переход к агентному программированию, где искусственный интеллект берёт на себя выполнение сложных многошаговых задач.
Читать далееПопробуйте вспомнить, что у вас стояло на рабочем столе лет 20-25 лет назад. Абсолютное большинство тех программ вы скорее всего уже даже не вспоминаете, не говоря уже о том, чтобы продолжать ими пользоваться. За эти годы поменялись не только наши личные предпочтения, но и рабочие сценарии. Тем интереснее будет вспомнить о приложениях, которые когда-то были основой софтового парка Windows-компьютеров.
Читать далееВсе вокруг говорят про облачные сервисы, хранилища и системы. Но если вы работаете в крупной компании с закрытым контуром, любое «облако» — радиоактивное. Потому что утечка данных или сбой сервиса — это минус репутация и контракты.
И вот вы, большое предприятие, хотите внедрить КЭДО, чтобы упростить наём, согласование отпусков и командировок. Но возникает закономерный вопрос: а нам так можно?
Если кратко, то можно. Подробнее рассказали в статье и ответили на главные вопросы:
Читать далееВсем привет! Я студент-работяга, который увлекается аналитикой в многогранном мире ИБ. Почти каждая задача (как аналитика, так и студента) так или иначе заканчивается подготовкой каких-то материалов: для аналитика — отчета, для студента — курсовой работы. В процессе подготовки этих материалов неизбежно сталкиваешься с рутиной из однообразных кликов (разметка текста, форматирование картинок и много другой скукоты). Однако справиться с ней можно, и сегодня я расскажу, как это сделать с помощью автоматизации в редакторе Word посредством VBA-макросов.
Статья может быть полезна студентам и начинающим специалистам, но уверен, какие-то идеи пригодятся и тем, кто уже работает. Даже если вы не пользуетесь Microsoft Office, то все равно сможете почерпнуть для себя некоторые идеи, так как почти во всех пакетах есть поддержка языков программирования, например Basic в LibreOffice, Lua в пакете «МойОфис» или JavaScript в «Яндекс Документах». Кроме того, часть моих скриптов я выложил в открытый доступ.
Когда пишут про автоматизацию в Microsoft Office, то в большинстве случаев имеют в виду Excel, однако я сломаю шаблон и расскажу вам про автоматизацию в Word, которую часто незаслуженно обходят стороной.
Читать далееПривет, Хабр! Меня зовут Катя, я начальник отдела методологического сопровождения проектов в РГС. Как руководителю мне постоянно приходится балансировать между контролем (чтобы всЁ работало) и свободой действий (чтобы всЕ работали). И на практике это куда сложнее, чем кажется. Поэтому хочу обсудить, как правильно передавать полномочия в IT-команде, какие задачи тимлид должен оставить себе и где проходит грань между развитием сотрудников и банальной эксплуатацией.
Читать далее