Senior/Lead Data Quality Engineer
Primary stack
Nice to have's
Job description
Про посаду
Ми шукаємо досвідченого Senior/Lead Data Quality Engineer для приєднання до нашої команди. Успішний кандидат відіграватиме важливу роль у забезпеченні цілісності, надійності та якості наших дата-інженерних піплайнів і платформ.
Обов'язки
- Розробка та створення надійної автоматизованої тестової рамки та стратегії для дата-інженерних піплайнів, з акцентом на інтеграцію з Databricks, PySpark, Scala, Spark SQL та іншими відповідними технологіями
- Впровадження автоматизованих тестів для забезпечення цілісності, якості та надійності всіх дата-піплайнів і платформ
- Інтеграція автоматизованих тестів у CI/CD піплайни Azure DevOps для забезпечення безперебійних процесів тестування, створення та розгортання
- Проведення та виконання тестів на продуктивність для оцінки ефективності та масштабованості систем обробки даних
- Тісна співпраця з дата-інженерами та іншими зацікавленими сторонами для розуміння вимог та забезпечення відповідності стратегій тестування бізнес-цілям
- Встановлення моніторингу для автоматизованих тестів, надання регулярних звітів про покриття тестів, дефекти та проблеми з якістю даних
Вимоги
- Мінімум 3 роки досвіду роботи в Data Quality Engineering або суміжній галузі
- Глибоке розуміння автоматизованих тестових рамок та принципів дата-інженерії
- Знання Databricks, PySpark, Scala, Spark SQL, Terraform та Azure Event Hubs
- Досвід інтеграції тестових рамок з Azure DevOps та управління версіями з використанням Git
- Знання конфігурації та розгортань піплайнів з використанням Terraform
- Знання Jira
- Сильні аналітичні здібності з доведеним досвідом вирішення складних задач з даних та тестування
- Вільне володіння англійською мовою на рівні B2+
Буде плюсом
- Досвід роботи з Power BI, Azure Data Lake, Spark Streaming та іншими інструментами обробки та візуалізації даних
- Попередній досвід роботи в дата-інтенсивній галузі або з великими масштабами даних
- Знання впровадження рішень через Infrastructure as Code (IaC)
Ми пропонуємо
- Можливість працювати дистанційно з Львова, Україна
- Конкурентоспроможна позиція контрактної угоди
Про компанію
EPAM Systems є глобальною компанією з інженерії програмного забезпечення та розробки продуктів, що надає повний спектр послуг з інженерії програмних продуктів та консалтингу з технологій.
© EPAM. This job description was sourced from the employer's public career page. TheJob is not the employer — we index the posting and route candidates to the source. All content rights and hiring decisions belong to the employer.
EPAM helps organizations innovate their business processes and rethink the way they manage their businesses so they can remain competitive in this new digital age.