Job Description, Responsibilities & Requirements
Description language:
Про посаду
Ми шукаємо досвідченого Senior/Lead Data Quality Engineer для приєднання до нашої команди. Успішний кандидат відіграватиме важливу роль у забезпеченні цілісності, надійності та якості наших дата-інженерних піплайнів і платформ.
Обов'язки
- Розробка та створення надійної автоматизованої тестової рамки та стратегії для дата-інженерних піплайнів, з акцентом на інтеграцію з Databricks, PySpark, Scala, Spark SQL та іншими відповідними технологіями
- Впровадження автоматизованих тестів для забезпечення цілісності, якості та надійності всіх дата-піплайнів і платформ
- Інтеграція автоматизованих тестів у піплайни CI/CD Azure DevOps для забезпечення безперебійних процесів тестування, створення та розгортання
- Проведення та виконання тестів на продуктивність для оцінки ефективності та масштабованості систем обробки даних
- Тісна співпраця з дата-інженерами та іншими зацікавленими сторонами для розуміння вимог та забезпечення відповідності стратегій тестування бізнес-цілям
- Встановлення моніторингу для автоматизованих тестів, надання регулярних звітів про покриття тестів, дефекти та проблеми з якістю даних
Вимоги
- Мінімум 3 роки досвіду роботи в Data Quality Engineering або суміжній галузі
- Глибоке розуміння автоматизованих тестових рамок та принципів дата-інженерії
- Досвід роботи з Databricks, PySpark, Scala, Spark SQL, Terraform та Azure Event Hubs
- Досвід інтеграції тестових рамок з Azure DevOps та управління версіями з використанням Git
- Знання конфігурації та розгортань піплайнів за допомогою Terraform
- Знання Jira
- Сильні аналітичні здібності з доведеним досвідом вирішення складних задач з даних та тестування
- Вільне володіння англійською мовою на рівні B2+
Буде плюсом
- Досвід роботи з Power BI, Azure Data Lake, Spark Streaming та іншими інструментами обробки та візуалізації даних
- Попередній досвід роботи в дата-інтенсивній галузі або з великими масштабами даних
- Володіння реалізацією рішень через Infrastructure as Code (IaC)
Ми пропонуємо
- Можливість працювати дистанційно в Україні
- Захоплююча роль у провідній технологічній компанії, EPAM Systems
Про компанію
EPAM Systems є глобальною компанією з інженерії програмного забезпечення та розробки продуктів, яка надає цифрові платформи та масштабні системи для провідних світових брендів.