Senior/Lead Data Quality Engineer
Primary stack
Azure DevOpsScalaDatabricksAzure Event HubsGitTerraformSQL
Nice to have's
Power BIAzure Data LakeSpark StreamingJiraInfrastructure as Code (IaC)
Job description
Description language:
Про посаду
Наша команда шукає талановитого Senior/Lead Data Quality Engineer. На цій посаді ви будете відігравати важливу роль у забезпеченні цілісності, надійності та якості наших платформ і конвеєрів інженерії даних.
Обов'язки
- Створення та архітектура міцної стратегії та фреймворка автоматизованих тестувань для конвеєрів інженерії даних, з акцентом на інтеграцію з Databricks, PySpark, Scala, Spark SQL та іншими відповідними технологіями
- Розгортання автоматизованих тестів, які гарантують якість, цілісність та надійність даних у кожному конвеєрі та платформі
- Впровадження автоматизованих тестувань у CI/CD конвеєри Azure DevOps для забезпечення плавних робочих процесів тестування, створення та розгортання
- Проведення тестувань на продуктивність для оцінки масштабованості та ефективності систем обробки даних
- Тісне співробітництво з інженерами даних та іншими зацікавленими сторонами для збору вимог та узгодження стратегій тестування з бізнес-цілями
- Налаштування моніторингу автоматизованих тестів та надання звичайних звітів про покриття тестуванням, дефекти та проблеми з якістю даних
Вимоги
- Не менше 3 років досвіду роботи в інженерії якості даних або суміжній галузі
- Глибоке розуміння принципів інженерії даних та фреймворків автоматизованих тестувань
- Практичний досвід роботи з Databricks, PySpark, Scala, Spark SQL, Terraform та Azure Event Hubs
- Досвід підключення тестувальних фреймворків до Azure DevOps та управління версіями за допомогою Git
- Знання конфігурації та розгортання конвеєрів за допомогою Terraform
- Робочий досвід роботи з Jira
- Відмінні аналітичні навички з доведеним досвідом діагностики та вирішення складних проблем з тестуванням та даними
- Володіння англійською мовою на рівні B2+
Буде плюсом
- Досвід роботи з Power BI, Azure Data Lake, Spark Streaming та іншими інструментами візуалізації та обробки даних
- Попередній досвід роботи в індустрії з великим обсягом даних або у великих масштабних середовищах даних
- Навички надання рішень за допомогою Infrastructure as Code (IaC)
Місце роботи
- Дистанційно в Україні: Львів
© EPAM. This job description was sourced from the employer's public career page. TheJob is not the employer — we index the posting and route candidates to the source. All content rights and hiring decisions belong to the employer.
EPAM helps organizations innovate their business processes and rethink the way they manage their businesses so they can remain competitive in this new digital age.