Job Description, Responsibilities & Requirements
Description language:
Про посаду
Ми шукаємо Senior Data Software Engineer, щоб керувати міграцією робочих процесів Ad Tech з Spark на EKS та Apache Flink до Databricks на AWS. Ця стратегічна роль буде зосереджена на створенні масштабних, високоефективних дата-пайплайнів, стимулюванні оптимізаційних зусиль та співпраці з крос-функціональними командами для інтеграції рішень у Unity Catalog.
Обов'язки
- Міграція робочих процесів клієнтів з Spark на EKS та Flink до Databricks на AWS, забезпечуючи надійність та продуктивність
- Відповідність рішень бізнес-потребам та архітектурним стандартам шляхом співпраці з Data Architects та Solution Leads
- Перегляд коду, забезпечення дотримання кращих практик та підтримка стандартів кодування по всіх проектах
- Співпраця з DevOps та QA командами для забезпечення плавної деплояції та перевірки дата-флоу
- Забезпечення інтеграції даних активів у Unity Catalog, включаючи визначення схеми та узгодження контролю доступу
- Моніторинг, усунення та вирішення проблем у виробництві для підтримання надійності та продуктивності пайплайну
Вимоги
- 5+ років досвіду програмування на Scala, ідеально з досвідом роботи на Java
- Досвід управління даними робочими процесами за допомогою інструментів, таких як Airflow та сучасних систем оркестрації
- Глибоке розуміння Apache Spark (Scala та PySpark), знання Python є плюсом
- Знання моделювання даних, дизайну схем, налаштування продуктивності та SQL
- Перевірене розуміння контролю версій (Git) та практик Agile розробки
- Сильні навички співпраці для роботи в глобальних, крос-функціональних командах
- Готовність частково коригувати робочий час для підтримки часового поясу Західного узбережжя США
Буде плюсом
- Досвід роботи з Apache Flink, особливо в стратегіях міграції
- Розуміння Unity Catalog та інтеграції каталогу (наприклад, AWS Glue, Hive)
- Навички в принципах якості даних та автоматизації тестування для дата-пайплайнів
- Знання інструментів для оркестрації великих робочих процесів, таких як Airflow
Про компанію
[Опис компанії, якщо є]