Job Description, Responsibilities & Requirements
Description language:
Про посаду
Наша команда шукає талановитого Senior/Lead Data Quality Engineer. На цій посаді ви будете відігравати важливу роль у забезпеченні цілісності, надійності та якості наших платформ і конвеєрів інженерії даних.
Обов'язки
- Створення та архітектура міцної стратегії та фреймворка автоматизованих тестувань для конвеєрів інженерії даних, з акцентом на інтеграцію з Databricks, PySpark, Scala, Spark SQL та іншими відповідними технологіями
- Впровадження автоматизованих тестів, які гарантують якість, цілісність та надійність даних у кожному конвеєрі та платформі
- Вбудовування автоматизованих тестувань у CI/CD конвеєри Azure DevOps для забезпечення плавних робочих процесів тестування, створення та розгортання
- Проведення тестувань на продуктивність для оцінки масштабованості та ефективності систем обробки даних
- Тісне співробітництво з інженерами даних та іншими зацікавленими сторонами для збору вимог та узгодження стратегій тестування з бізнес-цілями
- Налаштування моніторингу автоматизованих тестів та надання регулярних звітів про покриття тестування, дефекти та проблеми з якістю даних
Вимоги
- Не менше 3 років досвіду роботи в інженерії якості даних або суміжній галузі
- Глибоке розуміння принципів інженерії даних та фреймворків автоматизованих тестувань
- Практичний досвід роботи з Databricks, PySpark, Scala, Spark SQL, Terraform та Azure Event Hubs
- Досвід підключення тестувальних фреймворків до Azure DevOps та управління версіями за допомогою Git
- Знання конфігурації та розгортання конвеєрів за допомогою Terraform
- Робочий досвід з Jira
- Чудові аналітичні навички з доведеним досвідом діагностики та вирішення складних проблем з тестуванням та даними
- Володіння англійською мовою на рівні B2+
Буде плюсом
- Досвід роботи з Power BI, Azure Data Lake, Spark Streaming та іншими інструментами візуалізації та обробки даних
- Попередній досвід роботи в галузі з великими обсягами даних або у великих масштабних середовищах даних
- Навички в розробці рішень за допомогою Infrastructure as Code (IaC)
Місце роботи
- Дистанційно в Україні: Львів