Senior Data Software Engineer [Scala]

Про посаду

Ми шукаємо Senior Data Software Engineer, щоб керувати міграцією Ad Tech робочих процесів з Spark на EKS та Apache Flink до Databricks на AWS.

Ця стратегічна роль буде зосереджена на створенні масштабних, високопродуктивних дата-пайплайнів, стимулюванні оптимізаційних зусиль та партнерстві з крос-функціональними командами для інтеграції рішень у Unity Catalog.

Обов'язки

• Міграція клієнтських робочих процесів з Spark на EKS та Flink до Databricks на AWS, забезпечуючи надійність та продуктивність
• Відповідність рішень бізнес-потребам та архітектурним стандартам, співпрацюючи з Data Architects та Solution Leads
• Перегляд коду, забезпечення дотримання кращих практик та підтримка стандартів кодування по всіх проектах
• Співпраця з DevOps та QA командами для забезпечення плавної деплояції та перевірки дата-флоу
• Забезпечення інтеграції даних активів у Unity Catalog, включаючи визначення схеми та узгодження контролю доступу
• Моніторинг, усунення та вирішення проблем у виробництві для підтримання надійності та продуктивності пайплайну

Вимоги

• 5+ років досвіду роботи з програмування на Scala, ідеально з досвідом роботи на Java
• Досвід управління даними робочими процесами з використанням таких інструментів як Airflow та сучасних систем оркестрації
• Глибоке розуміння Apache Spark (Scala та PySpark), знання Python буде плюсом
• Знання моделювання даних, дизайну схем, налаштування продуктивності та SQL
• Доведені знання контролю версій (Git) та практик Agile розробки
• Сильні навички співпраці для роботи в глобальних, крос-функціональних командах
• Готовність частково коригувати робочий час для підтримки часового поясу Західного узбережжя США

Буде плюсом

• Досвід у Apache Flink, особливо в стратегіях міграції
• Розуміння Unity Catalog та інтеграції каталогу (наприклад, AWS Glue, Hive)
• Навички в принципах якості даних та автоматизації тестування для дата-пайплайнів
• Знання інструментів оркестрації великих робочих процесів, таких як Airflow

Ми пропонуємо

• Можливість працювати віддалено з Києва, Україна
• Захоплююча роль у провідній технологічній компанії, EPAM Systems

Про компанію

EPAM Systems є провідною світовою компанією з розробки програмних продуктів та інженерії цифрових платформ. Ми співпрацюємо з багатьма найбільшими брендами світу, щоб вирішувати їхні найскладніші завдання та надавати проривні цифрові рішення.