Senior Software Engineer (Web Scraping, Data acquisition, Data collection)

Про посаду

Ми шукаємо Senior Software Engineer зі спеціалізацією на веб-скануванні, зборі даних і колекції даних для роботи в нашій команді NIQ Digital shelf. У цій ролі ви будете частиною глобальної команди з більш ніж 60 сканерів, інженерів, аналітиків і любителів даних. Вашою основною відповідальністю буде проектування та створення розподілених архітектур сканування, які можуть масштабуватися на тисячах доменів.

Обов'язки

• Проектування та створення розподілених архітектур сканування, які можуть масштабуватися на тисячах доменів.
• Зворотна інженерія API та мобільних додатків за допомогою інструментів, таких як Frida, mitmproxy, Charles Proxy, burp і багатьох інших.
• Виявлення загальних антибот-заходів (наприклад, перевірки JavaScript або виявлення поведінки браузера) для створення кролів, які адаптуються, щоб виглядати більш людськи.
• Керівництво технічними інноваціями в скануванні: виявлення крайній випадків, прототипування нових підходів і обмін знаннями з командою.
• Налаштування виявлення аномалій і моніторингу для виявлення блоків або збоїв на ранніх стадіях.

Вимоги

• 5+ років досвіду роботи з Python і масштабними проектами сканування.
• Глибоке розуміння антибот-технологій і способів їх обходу, фінгерпринтинг, WAFs, JavaScript виклики тощо.
• Досвід роботи з Scrapy, Requests, httpx, Selenium, Playwright або налаштованими headless браузерами.
• Навички роботи з проксями (резидентні, датацентри, обертаючіся), управління сесіями, вставка cookies і налаштування TLS.
• Сильні навички налагодження через браузер, HTTP-трафік і взаємодію на рівні пристрою.
• Ви думаєте самостійно і любите вирішувати проблеми, які ще ніхто не вирішував.
• Знання структурованих форматів зберігання (Parquet, Avro) або обробки потоків у реальному часі.
• Гарне знання баз даних, таких як MongoDB, InfluxDB і Redis, включаючи те, як вони працюють і як їх оптимізувати.

Буде плюсом

• Досвід роботи з симуляцією реальних пристроїв для мобільного сканування.
• Зручність у створенні та підтримці розподілених черг завдань (Celery, Kafka тощо).
• Досвід сканування високозахищених платформ або мобільних середовищ.
• Знайомство з Linux або хмарними середовищами (AWS, GCP тощо).
• Базове розуміння Kubernetes, Cloud Run і Cloud Functions для розгортання та оркестрації робочих навантажень сканування.

Ми пропонуємо

• Гнучке робоче середовище
• Вільний час для волонтерства
• LinkedIn Learning
• Програма допомоги працівникам (EAP)

Про компанію

У NIQ Digital shelf сканувати не просто зібрати дані, це про перехитрити перешкоди, які стоять на шляху до видимості. Щодня ми обробляємо десятки мільярдів точок даних з тисяч джерел, як веб, так і мобільних, і перетворюємо їх на дійсні результати для провідних роздрібних торговців і брендів у світі.

Ви приєднаєтесь до команди з більш ніж 60 сканерів, інженерів, аналітиків і любителів даних з усього світу. Як частина нашої команди сканування та досліджень і розробок, у вас буде простір для експериментів, розширення меж і втілення сміливих ідей у життя. Ви будете тісно співпрацювати з Клієнтським успіхом, Операціями і Даними, щоб забезпечити витягнення високоякісних, дійсних даних - швидко і в масштабі.

Це не просто робота програміста. Вам потрібно думати як хакеру, рухатися як інженер і діяти як винахідник.

Чому варто приєднатися до NIQ Digital shelf

• У вас буде власність і свобода експериментувати, підтримана командою, яка процвітає на інноваціях.
• Ви будете працювати з людьми, які дійсно захоплені даними і знають, як ними користуватися.
• Ваші ідеї будуть формувати нашу стратегію, інструменти і успіх - ви не просто будете слідувати Путівнику; ви будете писати про це.
• Дружня і прозора корпоративна культура, конкурентоспроможна зарплата, гнучкий робочий час і можливість швидко зростати на ролі з високим впливом.

Додаткова інформація

NIQ може використовувати інструменти штучного інтелекту (AI) на різних етапах процесу набору персоналу, включаючи перевірку резюме, оцінку кандидатів, планування співбесід, узгодження вакансій, підтримку комунікації та певні адміністративні завдання, які допомагають оптимізувати робочі процеси. Ці інструменти призначені для підвищення ефективності та забезпечення чесної та послідовної оцінки на основі критеріїв, пов'язаних з роботою. Все використання AI регулюється принципами NIQ щодо справедливості, прозорості, людського нагляду та інклюзивності. Остаточні рішення про прийом на роботу приймаються виключно людьми. NIQ регулярно перевіряє свої інструменти AI, щоб допомогти зменшити упередження та забезпечити відповідність чинним законам і нормам. Якщо у вас є питання, вам потрібні адаптації або ви бажаєте запросити огляд людиною, якщо це дозволено законом, будь ласка, зв'яжіться з вашим місцевим представником HR. Для отримання додаткової інформації, будь ласка, відвідайте Політики безпеки AI NIQ та Керуючі принципи: Політики безпеки AI NIQ

Про NIQ

NIQ є провідною світовою компанією з аналітики споживачів, яка забезпечує найбільш повне розуміння поведінки споживачів при покупці та виявляє нові шляхи до зростання. У 2023 році NIQ об'єдналася з GfK, об'єднавши двох лідерів галузі з безпрецедентним глобальним охопленням. Завдяки цілісному читанню роздрібної торгівлі та найбільш вичерпним споживчим даним, що надаються за допомогою передової аналітики через найсучасніші платформи, NIQ забезпечує Full View™. NIQ є компанією портфеля Advent International з операціями в 100+ ринках, охоплюючи більше 90% світового населення.

Для отримання додаткової інформації відвідайте NIQ.com

Хочете бути в курсі наших останніх нововведень?

Слідкуйте за нами: [LinkedIn] | [Instagram] | [Twitter] | [Facebook]

Наші зобов'язання щодо різноманітності, рівності та інклюзивності

У NIQ ми непохитні у своїй прихильності до створення інклюзивного робочого місця, яке відображає багатоманітність громад і ринків, які ми обслуговуємо. Ми віримо, що прийняття широкого кола перспектив сприяє інноваціям і досконалості. Всі кадрові рішення в NIQ приймаються без огляду на расу, колір шкіри, релігію, стать (включаючи вагітність, сексуальну орієнтацію чи гендерну ідентичність), національне походження, вік, інвалідність, генетичну інформацію, сімейний стан, статус ветерана чи будь-яку іншу характеристику, захищену відповідними законами. Ми запрошуємо людей, які поділяють нашу відданість інклюзивності та рівності, приєднатися до нас у створенні значущого впливу. Щоб дізнатися більше про наші поточні зусилля в галузі різноманітності та інклюзивності, будь ласка, відвідайте сторінку Різноманітність та інклюзивність.