Senior Snowflake Data Engineer

Про посаду

Ми шукаємо висококваліфікованого Senior Snowflake Data Engineer для проектування, створення та оптимізації масштабних дата-пайплайнів та хмарних рішень на платформах AWS, Azure та GCP. Ідеальний кандидат матиме значний досвід у роботі з Snowflake, ETL інструментами типу DBT, Python, інструментами візуалізації даних, такими як Tableau, та сучасними практиками CI/CD, а також глибоке розуміння управління даними, безпеки та контролю доступу на основі ролей (RBAC). Знання методологій моделювання даних (OLTP, OLAP, Data Vault 2.0), фреймворк даних якості, розробки додатків Streamlit, інтеграції SAP та інфраструктури як коду (IaC) з Terraform є обов'язковими. Досвід роботи з різними форматами файлів, такими як JSON, Parquet, CSV та XML, високо цінується.

Обов'язки

• Глибоке розуміння можливостей дата-варехаусінгу Snowflake.
• Розуміння архітектури віртуального складу Snowflake та способів оптимізації продуктивності та вартості.
• Володіння використанням функцій обміну даними та інтеграції Snowflake для безперебійної співпраці.
• Розробка та оптимізація складних SQL скриптів, збережених процедур та трансформацій даних.
• Тісна співпраця з данними аналітиками, архітекторами та бізнес-підрозділами для розуміння вимог та надання надійних рішень для даних.
• Впровадження та підтримка даних моделей, дименсіонального моделювання для дата-варехаусінгу, дата-мартів та схем типу зірочки/сніжинки для підтримки звітності та аналітики.
• Інтеграція даних з різних джерел, включаючи API, плоскі файли, реляційні бази даних та хмарні сервіси.
• Забезпечення дотримання стандартів якості даних, управління даними та відповідності.
• Моніторинг та усунення проблем з продуктивністю, помилок та збоїв у пайплайнах у Snowflake та супутніх інструментах.
• Участь у кодових оглядах, тестуванні та розгортанні рішень для даних у середовищах розробки та виробництва.

Вимоги

• Обов'язково

  • 5+ років досвіду
  • Сильна володіння Snowflake (Snowpipe, RBAC, налаштування продуктивності).
  • Здатність писати складні SQL запити, збережені процедури та користувацькі функції.
  • Навички оптимізації SQL запитів для продуктивності та ефективності.
  • Досвід роботи з ETL/ELT інструментами та техніками, включаючи Snowpipe, AWS Glue, openflow, fivetran або подібні інструменти для реального часу та періодичної обробки даних.
  • Володіння трансформацією даних у межах Snowflake за допомогою SQL, з Python як плюсом.
  • Глибоке розуміння безпеки даних, відповідності та управління.
  • Досвід роботи з DBT для моделювання та забезпечення бази даних.
  • Досвід роботи з інструментами контролю версій, зокрема Azure DevOps.
  • Хороша практика документування та наставництва.

• Буде плюсом

  • Досвід роботи з AWS Lambda, особливо у використанні Python для розробки функцій витягнення даних.
  • Здатність отримувати дані з платформ, таких як SharePoint або Salesforce, та передавати їх у бакет S3.

Ми пропонуємо

• Віддалена робота з України
• Конкурентоспроможна зарплата
• Можливість працювати з однією з відомих світових науково-технічних компаній у фармацевтичній галузі
• Модернізація інфраструктури даних шляхом переходу на Snowflake

Про компанію

Luxoft є глобальним постачальником послуг з цифрової трансформації та технологій, що дозволяє підприємствам інноваційно розвиватися та процвітати в цифрову епоху. Зі значним фокусом на надання передових рішень, Luxoft співпрацює з провідними організаціями для досягнення зростання та успіху.