Senior Data Engineer

Про посаду

Ми шукаємо Senior Data Engineer для приєднання до нашої команди проекту зі страхування в Україні. На цій посаді ви будете відповідальним за проектування та створення надійних ETL-піплайнів, забезпечення якості даних та підтримку зусиль з міграції даних. Ви будете тісно співпрацювати з міжфункціональними командами, щоб визначити вимоги на ранніх етапах, забезпечувати якість за допомогою тестування, керованого розробниками, та сприяти успішній реалізації складних даних в страховому секторі.

Обов'язки

• Розробка логіки витягнення, трансформації, перевірки, узгодження та завантаження відповідно до затверджених відображень джерела-ціль та ETL HLD
• Забезпечення якості ETL-результатів шляхом проектування, виконання та документування тестування, керованого розробниками, до втручання QA
• Створення та підтримка автоматизованих юніт-тестів, компонентних тестів та перевірок даних для ETL-піплайнів
• Перевірка відображень джерела-ціль, логіки трансформації, контрольних точок узгодження та сценаріїв обробки помилок під час розробки
• Створення доказів тестування, що демонструють відповідність ETL-коду функціональним та нефункціональним вимогам до переходу на наступний етап
• Підтримка тестових запусків та міграцій, дослідження дефектів, аналіз кореневих причин та впровадження виправлень
• Створення ETL-завдань, які можна безпечно повторно запускати з чітким логуванням та обробкою помилок
• Створення та оновлення допоміжної документації, такої як руководства та технічні примітки
• Активна участь у ВСІХ церемоніях scrum
• Участь у дискусіях "Трьох Амігос" (зазвичай BA, QA, Tech Lead) для кожної історії ETL для визначення вимог та критеріїв прийняття на ранніх етапах та запобігання переробці
• Запуск та управління технічними залежностями на ранніх етапах з Delivery Manager

Вимоги

• 5+ років досвіду в інженерії даних
• Досвід у операційній міграції даних
• Знання у проектуванні та створенні ETL, включаючи оркестрацію міграції
• Знання SQL
• Знання Python та PySpark
• Відмінне володіння письмовою та розмовною англійською (рівень B2+)

Буде плюсом

• Знання Databricks
• Знання PostgreSQL баз даних
• Досвід роботи з AWS S3 бакетами
• Знання Apache Kafka
• Навички роботи з Java API, REST та SOAP
• Навички оптимізації продуктивності ETL
• Знання Jenkins та Git
• Досвід роботи з EIS (Billing v12, ClaimCore v12, CustomerCore v20, PolicyCore v12, EIS Solutions)
• Знання Prometheus та Grafana
• Знання страхового сектору, зокрема на ринку Великобританії

Ми пропонуємо

• Робота за гнучним графіком дистанційно або з будь-якого з наших комфортних офісів або коворкінгів в Україні
• Надання необхідного обладнання для виконання робочих завдань
• Можливість зміни проектів та технологічних стеків всередині EPAM
• Набуття досвіду в різних бізнес-доменах (Страхування, Електронна комерція, Охорона здоров'я, Фінанси, Подорожі, Медіа, Штучний інтелект та інше)
• Можливості переїзду для відповідних кандидатів, залежно від посади та відкритих вакансій в інших офісах EPAM
• Участь у волонтерських, благодійних програмах та спільнотах (як технічних, так і за інтересами)
• Фокус на вашому професійному зростанні:
  • Планування індивідуального кар'єрного шляху разом з вашим менеджером
  • Отримання регулярних відгуків від колег
  • Безкоштовне вдосконалення англійської мови з сертифікованими викладачами (Клуби розмови, підготовка до співбесід з клієнтами тощо)
  • Можливість пройти безкоштовне навчання та сертифікацію в AWS, GCP або Azure хмарах
  • Використання внутрішньої програми E-learn (понад 18 200 спеціалізованих навчальних та наставницьких програм)
  • Доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсах
  • Навчання в Школі архітектури рішень EPAM з інструкторами, які є практикуючими архітекторами
  • Розвиток як лідер, приєднання до школи управління доставками, управління ресурсами, основ лідерства та інше
  • Участь у внутрішніх спільнотах (понад 500 зустрічей, технічних дискусій, сесій мозкового штурму, онлайн-подій та конференцій щорічно)
• Відпустка та лікарняний лист (включаючи лікарняний лист без медичного сертифіката)
• Широкий спектр програм добровільного медичного страхування, що надають як медичне лікування, так і різні профілактичні опції (включаючи спортивні заходи)
• Медичне страхування для членів сім'ї за корпоративними тарифами
• Підтримка компанії під час важливих життєвих подій (народження дитини або усиновлення, одруження тощо)
• Підтримка психологічного комфорту: знижки на послуги від фахівців з психічного здоров'я або коучів, тематичні тренінги
• Програма E-kids - безкоштовна програма навчання програмуванню для дітей співробітників EPAM