Senior/Lead Data Engineer [Scala]

Про посаду

Ми шукаємо висококваліфікованого та досвідченого Старшого/Продюсера дата-інженерингу зі спеціалізацією на Scala, щоб керувати розробкою, розширенням та масштабуванням наших ініціатив з дата-інженерингу. Ця посада зосереджена на створенні та підтримці надійних дата-піпайнів, забезпеченні безперебійної інтеграції даних про купівлі та каталоги з численних джерел у наш дата-озеро, а також на запровадженні інновацій у рішеннях з дата-інженерингу.

Обов'язки

• Проектування та підтримка масштабовних ETL/ELT піпайнів для систем обробки даних у пакетах, мікро-пакетах та потоковій обробці
• Створення фреймворків для оптимальної екстракції, трансформації та доставки даних з використанням технологій, таких як ADF, Spark та Kafka
• Виявлення та впровадження покращень процесів, автоматизація робочих процесів та оптимізація інфраструктури даних для ефективності та масштабованості
• Проектування та впровадження інноваційних рішень для дата-сервісів з використанням Spring Boot, ReactJS або інших технологій, пов'язаних з UI та API
• Забезпечення управління та дотримання процесів управління доставкою для безперебійної роботи
• Виступати як єдиний відповідальний за всі питання, пов'язані з доставкою, включаючи ескалацію клієнтів, зміни договорів та управління ресурсами команди
• Надання технічного керівництва, забезпечення відповідності рішень високим стандартам якості та планування архітектури з урахуванням майбутнього
• Написання користувацьких історій та критеріїв прийняття для агільних та скраму робочих процесів
• Співпраця з крос-функціональними командами та зацікавленими сторонами для узгодження цілей та виконання
• Забезпечення відповідності методологіям доставки та кращим практикам галузі, особливо агільним підходам
• Стратегічне управління ризиками доставки для забезпечення плавного виконання проектів
• Оптимізація та вимірювання продуктивності та пропускної здатності команди для ефективної доставки
• Наставництво та консультування членів команди з дата-інженерингу для забезпечення своєчасних та якісних результатів
• Проактивне виконання дій з підтримки виробництва та розгортання

Вимоги

• 3+ роки досвіду роботи на посаді інженера даних
• Знання Scala, Scala 2 та Scala core
• Досвід роботи з Apache Spark, Databricks та SQL для проектування та масштабування рішень з даних
• Знання інструментів та сервісів, пов'язаних з даними, таких як ADF та Kafka, включаючи їх інтеграцію з дата-піпайнами
• Сильні навички спілкування англійською мовою (B1+ або вище) для прямої взаємодії з клієнтами

Буде плюсом

• Навички в Spark Streaming та PySpark для сценаріїв обробки даних на вищому рівні
• Досвід роботи з Python для скриптів та автоматизації
• Знання Apache Kafka та Kafka Streams для потокової передачі даних у реальному часі
• Розуміння хмарної інфраструктури та сервісів Azure

Про компанію

[Опис компанії, якщо є]