Data DevOps Engineer with Azure, Databricks [Senior/Lead]

Про посаду

Ми шукаємо Senior/Lead Data DevOps, щоб приєднатися до EPAM та внести вклад у проект для великого клієнта.

Як Senior/Lead Data DevOps у Data Platform, ви будете зосереджені на підтримці та впровадженні нових функцій до архітектури трансформації даних, яка є основою аналітичної платформи даних клієнта. Як ключова фігура в нашій команді, ви будете впроваджувати та надавати високоефективні рішення для обробки даних, які є ефективними та надійними в масштабі.

Обов'язки

• Проектування, створення та підтримка високодоступних виробничих систем з використанням рішень для зберігання даних Azure, включаючи Data Lake Storage, Databricks, ADF та Synapse Analytics
• Проектування та впровадження систем управління створенням, розгортанням та конфігурацією разом із покращеннями досвіду CI/CD на основі Terraform та рішень для конвеєрів Azure DevOps у рамках кількох підписок та середовищ
• Покращення досвіду користувачів платформи Databricks на основі кращих практик управління кластерами Databricks, економічно вигідних налаштувань, моделей безпеки даних тощо
• Проектування, впровадження та покращення системи моніторингу та сповіщень
• Співпраця з архітектурними командами для забезпечення відповідності архітектури та дизайну платформи вимогам моделі підтримки
• Виявлення можливостей для оптимізації діяльності та процесів платформи, впровадження механізмів автоматизації для оптимізації операцій

Вимоги

• 4+ роки професійного досвіду
• 2+ роки практичного досвіду роботи з різноманітними сервісами Azure
• Знання рішень для зберігання даних Azure, включаючи Data Lake Storage, Databricks, ADF та Synapse Analytics
• Значний досвід адміністрування систем Linux/Unix
• Передові навички у налаштуванні, управлінні та підтримці мереж у хмарі Azure
• Значний досвід у управлінні виробничою інфраструктурою з використанням Terraform
• Практичний досвід роботи з одним із конвеєрів Azure DevOps/GitLab CI/GitHub Actions для управління та автоматизації інфраструктури
• Практичний досвід роботи з платформою Databricks
• Практичні знання Python у поєднанні зі знаннями SQL
• Практичний досвід у одній із мов сценаріїв: Bash, Perl, Groovy
• Передові навички у Kubernetes/Docker
• Гарне знання кращих практик безпеки
• Гарне знання кращих практик моніторингу
• Хороші організаційні, аналітичні та проблемно-орієнтовані навички
• Здатність презентувати та візуально пояснювати архітектуру
• Знання англійської мови – здатність спілкуватися безпосередньо з клієнтом (рівень B2 і вище)

Ми пропонуємо

• Віддалена робота в Україні
• Можливість працювати над масштабним проектом з провідним клієнтом
• Професійний ріст та можливості для розвитку

Про компанію

EPAM є провідним світовим постачальником послуг із інженерії цифрових платформ та розробки програмного забезпечення. Ми співпрацюємо з найбільш інноваційними компаніями світу для надання технологічних рішень, що сприяють трансформації бізнесу.