Scraping Engineer

Про посаду

Data Science UA - це сервісна компанія з глибоким досвідом у сфері AI та Data Science. Наша історія почалася у 2016 році з першої конференції Data Science UA у Києві, і з тих пір ми створили одну з найбільших спільнот AI в Європі.

Ми шукаємо Scraping Engineer, який буде проектувати, будувати та експлуатувати масштабні, стійкі системи веб-сканування, з акцентом на Google та подібні пошукові середовища. Ця посада знаходиться на перетині інженерії даних, зворотної інженерії та надійності систем, і є ключовою для забезпечення точних, своєчасних та надійних даних у масштабі. Наш клієнт є лідером у впровадженні кодування з використанням інструментів AI. Посада ідеально підходить для тих, хто вірить в агентивне кодування та бажає вдосконалити свої навички.

Обов'язки

• Проектування та підтримка масштабних Python систем сканування, які надійно працюють проти Google та інших високозахищених вебсайтів
• Створення скраперів для динамічних сторінок, багатих на JavaScript, з використанням автоматизації браузерів та гібридних підходів
• Постійна адаптація до змін у структурі сторінок, потоках запитів та механізмах протидії автоматизації
• Створення міцних піплайнів для витягнення даних, які пріоритизують точність, послідовність та спостережуваність даних
• Впровадження стратегій проксі, фінґерпринтінгу та маршрутизації запитів для максимізації стабільності та продуктивності
• Моніторинг здоров'я сканування, раннє виявлення збоїв та швидке усунення проблем у виробництві
• Оптимізація продуктивності, вартості та латентностей у інфраструктурі сканування
• Тісна співпраця з інженерами даних, науковцями-датоученими та продуктовими командами для забезпечення того, що зібрані дані є корисними та довіреними
• Документування логіки сканування та операційних керівництв для довгострокової збережності

Вимоги

• Професійний досвід роботи з Python (або іншою основною мовою, наприклад, GoLang, Rust, JavaScript), включаючи сканувальні системи виробничого рівня
• Досвід сканування Google або подібно захищених платформ
• Розуміння HTTP, TLS, cookies, headers, redirects та поведінки мережевого браузера
• Досвід роботи з такими інструментами, як Playwright, Selenium, Puppeteer або еквівалентними фреймворками автоматизації браузерів
• Знання HTML парсингу, переміщення по DOM та методів витягнення даних
• Досвід роботи з обмеженням швидкості, CAPTCHA, ротацією IP та системами виявлення ботів
• Зручність у роботі з асинхронними та одночасними архітектурами сканування
• Досвід роботи зі скраперами у масштабі в хмарних середовищах
• Навички дебаггінгу та здатність аналізувати складні режими збоїв
• Досвід роботи з фінґерпринтінгом без браузера та методами запобігання виявленню ботів

Буде плюсом

• Знання контейнеризації та оркестрації, таких як Docker та Kubernetes
• Досвід роботи з розподіленими системами задач та чергами завдань
• Досвід у моніторингу якості даних та виявленні аномалій
• Досвід роботи з пошуковими, рекламними або конкурентними даними

Ми пропонуємо

• Культура Startup Engineering
• Віддалена робота
• Сильна культура
• Нагороджений продукт
• Сток опціони
• Відпустка на основі довіри
• Гнучкий робочий графік
• Кар'єрний ріст
• Щомісячні Hackdays та Тренінгові дні
• Сімейний догляд
• Грошова допомога на домашній офіс
• Привітальний подарунок
• День народження без відробітку
• Регулярні соціальні заходи
• Волонтерські дні

Знаєте когось, хто б чудово підходив на цю посаду?

Подайте свого кандидата через програму рекомендацій та отримайте бонус за успішну рекомендацію!

відвідати посилання на реферальну програму

Додаткова інформація

• Посада: Scraping Engineer
• Робота: Розробник програмного забезпечення
• Місце роботи: Віддалено, Україна
• Тип зайнятості: Повна зайнятість
• Рівень досвіду: Середній
• Навички: Python, Docker, Kubernetes