Senior Data Software Engineer [Scala]

Про посаду

Ми шукаємо Старшого Інженера з Програмного Забезпечення для Даних [Scala] для керівництва міграцією робочих процесів Ad Tech з Spark на EKS та Apache Flink до Databricks на AWS. Ця стратегічна роль буде зосереджена на створенні масштабних, високопродуктивних трубопроводів даних, стимулюванні оптимізаційних зусиль та співпраці з крос-функціональними командами для інтеграції рішень у Unity Catalog.

Обов'язки

• Міграція робочих процесів клієнтів з Spark на EKS та Flink до Databricks на AWS, забезпечуючи надійність та продуктивність
• Відповідність рішень бізнес-потребам та архітектурним стандартам, співпрацюючи з архітекторами даних та лідерами рішень
• Перегляд коду, забезпечення дотримання кращих практик та підтримання стандартів кодування по всіх проектах
• Співпраця з DevOps та QA командами для забезпечення плавної деплойменту та валідації потоків даних
• Забезпечення інтеграції активів даних у Unity Catalog, включаючи визначення схеми та узгодження контролю доступу
• Моніторинг, усунення та вирішення проблем у виробництві для підтримання надійності та продуктивності трубопроводів

Вимоги

• 5+ років досвіду програмування на Scala, бажано з досвідом роботи на Java
• Досвід управління робочими процесами даних за допомогою таких інструментів, як Airflow та сучасних систем оркестрації
• Глибоке розуміння Apache Spark (Scala та PySpark), знання Python є плюсом
• Знання моделювання даних, дизайну схем, налаштування продуктивності та SQL
• Перевірене розуміння контролю версій (Git) та практик розробки Agile
• Сильні навички співпраці для роботи в глобальних крос-функціональних командах
• Готовність частково коригувати робочий час для підтримки часового поясу Західного узбережжя США

Буде плюсом

• Досвід у Apache Flink, особливо в стратегіях міграції
• Розуміння Unity Catalog та інтеграції каталогу (наприклад, AWS Glue, Hive)
• Навички в принципах якості даних та автоматизації тестування для трубопроводів даних
• Знання інструментів оркестрації великих масштабів потоків, таких як Airflow

Ми пропонуємо

• Робота за гнучним графіком дистанційно або з будь-якого з наших комфортних офісів або коворкінгів в Україні
• Отримання необхідного обладнання для виконання робочих завдань
• Можливість зміни проектів та технологічних стеків у межах EPAM
• Набуття досвіду в різних бізнес-доменах (Страхування, Електронна комерція, Охорона здоров'я, Фінанси, Подорожі, Медіа, Штучний інтелект та інше)
• Можливості переїзду можуть бути доступні для відповідних кандидатів, залежно від посади та відкритих вакансій в інших офісах EPAM
• Участь у волонтерських, благодійних програмах та спільнотах (як технічних, так і за інтересами)

Можливості для професійного зростання:

• Планування індивідуального кар'єрного шляху разом із менеджером
• Отримання регулярного зворотного зв'язку від колег
• Безкоштовне вдосконалення англійської мови з сертифікованими викладачами (Клуби розмови, курси підготовки до інтерв'ю з клієнтами тощо)
• Можливість проходження безкоштовних тренінгів та сертифікації в хмарах AWS, GCP або Azure
• Використання внутрішньої програми E-learn (понад 18,200 спеціалізованих тренінгів та наставницьких програм)
• Доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсах
• Навчання в Школі архітектури рішень EPAM з практикуючими архітекторами
• Розвиток як лідер, приєднання до школи управління доставкою, управління ресурсами, основ лідерства та інше
• Участь у внутрішніх спільнотах (понад 500 мітапів, технічних дискусій, сесій мозкового штурму, онлайн-подій та конференцій щорічно)

Переваги:

• Відпустка та лікарняний лист (включаючи лікарняний лист без медичного сертифіката)
• Широкий спектр програм добровільного медичного страхування, що надають як медичне лікування, так і різні профілактичні опції (включаючи спортивні заходи)
• Медичне страхування для членів сім'ї за корпоративними тарифами
• Підтримка компанії під час значущих життєвих подій (народження дитини або усиновлення, одруження тощо)
• Підтримка психологічного комфорту: знижки на послуги від фахівців з психічного здоров'я або коучів, тематичні тренінги
• Програма E-kids - безкоштовна програма навчання програмуванню для дітей співробітників EPAM

Про компанію

[Опис компанії, якщо є]