Senior/Lead Data Engineer [Scala]

Про посаду

Ми шукаємо висококваліфікованого та досвідченого Senior/Lead Data Engineer зі спеціальністю в Scala для керівництва розробкою, розвитком та масштабуванням наших ініціатив у галузі інженерії даних. Ця посада зосереджена на створенні та підтримці надійних дата-піпайнів, забезпеченні безперебійної інтеграції даних про купівлі та каталоги з численних джерел у наш дата-озеро, а також на запровадженні інновацій у рішеннях для інженерії даних.

Обов'язки

• Проектування та підтримка масштабовних ETL/ELT піпайнів для систем обробки даних у пакетному, мікро-пакетному та потоковому режимі
• Створення фреймворків для оптимальної екстракції, трансформації та доставки даних з використанням технологій ADF, Spark та Kafka
• Виявлення та впровадження покращень процесів, автоматизація робочих процесів та оптимізація інфраструктури даних для ефективності та масштабованості
• Проектування та впровадження інноваційних рішень для сервісів даних з використанням Spring Boot, ReactJS або інших технологій, пов'язаних з інтерфейсом користувача та API
• Забезпечення управління та дотримання процесів управління доставкою для безперебійної роботи
• Виступати в ролі єдиного центру відповідальності за всі питання, пов'язані з доставкою, включаючи ескалацію клієнтів, зміни договорів та управління ресурсами команди
• Надання технічного керівництва, забезпечення відповідності рішень високим стандартам якості та планування архітектури з урахуванням майбутнього
• Написання користувацьких історій та критеріїв прийнятності для агільних та скраму робочих процесів
• Співпраця з крос-функціональними командами та зацікавленими сторонами для узгодження цілей та виконання
• Забезпечення відповідності методологіям доставки та кращим практикам галузі, особливо агільним підходам
• Стратегічне управління ризиками доставки для забезпечення плавного виконання проектів
• Оптимізація та вимірювання продуктивності та пропускної здатності команди для ефективної доставки
• Наставництво та консультування членів команди інженерії даних для забезпечення своєчасних та якісних результатів
• Проактивне виконання дій з підтримки виробництва та розгортання

Вимоги

• 3+ роки досвіду роботи на посаді інженера даних
• Знання Scala, Scala 2 та Scala core
• Досвід у Apache Spark, Databricks та SQL для проектування та масштабування рішень для даних
• Знання інструментів та сервісів, пов'язаних з даними, таких як ADF та Kafka, включаючи їх інтеграцію з дата-піпайнами
• Вільне володіння англійською (B1+ або вище) для прямої взаємодії з клієнтами

Буде плюсом

• Навички Spark Streaming та PySpark для сценаріїв обробки даних на високом
• Знання Python для скриптів та автоматизації
• Досвід у Apache Kafka та Kafka Streams для потокової передачі даних у реальному часі
• Знання хмарної інфраструктури Azure та її сервісів

Ми пропонуємо

• Робота за гнучним графіком дистанційно або з будь-якого з наших комфортних офісів або коворкінгів в Україні
• Отримання необхідного обладнання для виконання робочих завдань
• Можливість зміни проектів та технологічних стеків всередині EPAM
• Набуття досвіду в різних бізнес-доменах (Страхування, Електронна комерція, Охорона здоров'я, Фінанси, Подорожі, Медіа, Штучний інтелект та інше)
• Можливості переїзду для відповідних кандидатів, залежно від посади та відкритих вакансій в інших офісах EPAM
• Участь у волонтерських, благодійних програмах та спільнотах (як технічних, так і за інтересами)
• Фокус на вашому професійному зростанні:
  • Планування індивідуального кар'єрного шляху разом з вашим менеджером
  • Отримання регулярного зворотного зв'язку від колег
  • Безкоштовне вдосконалення англійської мови з сертифікованими викладачами (Клуби розмови, підготовка до співбесід з клієнтами тощо)
  • Можливість пройти безкоштовне навчання та сертифікацію в AWS, GCP або Azure
  • Використання внутрішньої програми E-learn (понад 18,200 спеціалізованих програм навчання та наставництва)
  • Доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсах
  • Навчання в Школі архітектури рішень EPAM з досвідченими архітекторами
  • Розвиток як лідер, приєднання до школи управління доставкою, управління ресурсами, основ лідерства та інше
  • Участь у внутрішніх спільнотах (понад 500 зустрічей, технічних дискусій, сесій мозкового штурму, онлайн-подій та конференцій щорічно)

Про компанію

Відпустка та лікарняні (включаючи лікарняний лист без медичного сертифікату)

Широкий спектр програм добровільного медичного страхування, що надають як медичне лікування, так і різні профілактичні опції (включаючи спортивні заходи)

Медичне страхування для членів сім'ї за корпоративними тарифами

Підтримка компанії під час важливих життєвих подій (народження дитини або усиновлення, одруження тощо)

Підтримка психологічного комфорту: знижки на послуги від фахівців з психічного здоров'я або коучів, тематичні тренінги

Програма E-kids - безкоштовна програма навчання програмуванню для дітей EPAMers