Senior/Lead Data Engineer [Scala]

Про посаду

Ми шукаємо висококваліфікованого та досвідченого Старшого/Продюсера дата-інженерії зі спеціалізацією на Scala, щоб керувати розробкою, розширенням та масштабуванням наших ініціатив у сфері інженерії даних. Ця посада зосереджена на створенні та підтримці надійних дата-піплайнів, забезпеченні безперебійної інтеграції даних про купівлі та каталоги з численних джерел у наш дата-озеро, а також на запровадженні інновацій у рішеннях для інженерії даних.

Обов'язки

• Проектування та підтримка масштабовних ETL/ELT піплайнів для систем обробки даних у пакетному, мікро-пакетному та потоковому режимі
• Створення фреймворків для оптимальної екстракції, трансформації та доставки даних з використанням технологій ADF, Spark та Kafka
• Виявлення та впровадження покращень процесів, автоматизація робочих процесів та оптимізація інфраструктури даних для підвищення ефективності та масштабованості
• Проектування та впровадження інноваційних рішень для дата-сервісів з використанням Spring Boot, ReactJS або інших технологій, пов'язаних з інтерфейсом користувача та API
• Забезпечення управління та дотримання процесів управління доставкою для безперебійної роботи
• Виступати в ролі єдиного відповідального за всі питання, пов'язані з доставкою, включаючи ескалацію питань клієнтам, зміни контрактів та управління ресурсами команди
• Надання технічного керівництва, забезпечення відповідності рішень високим стандартам якості та планування архітектури з урахуванням майбутніх потреб
• Написання користувацьких історій та критеріїв прийняття для агільних та скраму робочих процесів
• Співпраця з крос-функціональними командами та зацікавленими сторонами для узгодження цілей та виконання
• Забезпечення відповідності методологіям доставки та кращим практикам галузі, особливо агільним підходам
• Стратегічне управління ризиками доставки для забезпечення безперебійного виконання проектів
• Оптимізація та вимірювання продуктивності та пропускної здатності команди для ефективної доставки
• Наставництво та консультування членів команди дата-інженерії для забезпечення своєчасних та якісних результатів
• Проактивне вирішення питань підтримки та розгортання у виробництві

Вимоги

• 3+ роки досвіду роботи на посаді інженера даних
• Знання Scala, Scala 2 та Scala core
• Досвід роботи з Apache Spark, Databricks та SQL для проектування та масштабування рішень для даних
• Знання інструментів та сервісів, пов'язаних з даними, таких як ADF та Kafka, включаючи їх інтеграцію з дата-піплайнами
• Вільне володіння англійською мовою (B1+ або вище) для прямої взаємодії з клієнтами

Буде плюсом

• Навички роботи з Spark Streaming та PySpark для сценаріїв обробки даних на вищому рівні
• Досвід роботи з Python для створення скриптів та автоматизації
• Знання Apache Kafka та Kafka Streams для потокової передачі даних у реальному часі
• Розуміння хмарної інфраструктури та сервісів Azure

Про компанію

EPAM Systems є глобальною компанією з інженерії програмного забезпечення та розробки продуктів, яка співпрацює з провідними світовими організаціями для забезпечення цифрової трансформації та технологічних інновацій. Ми прагнемо до досконалості, інновацій та успіху клієнтів.

Ми пропонуємо

• Можливість працювати дистанційно з України
• Конкурентоспроможний компенсаційний пакет
• Можливості для професійного зростання та розвитку
• Колаборативне та інклюзивне робочі середовище