Middle Data Engineer

Про посаду

N-iX шукає Middle Data Engineer, щоб допомогти створити та експлуатувати новий дата-лейкхаус на базі AWS для нашого клієнта в сфері електронної комерції. Ідеальний кандидат має досвід роботи з сервісами даних AWS, сучасними дата-пайплайнами та архітектурами дата-лейкхаусу.

Наш клієнт є глобальною платформою електронної комерції та платежів на підписці, яка прагне спростити продаж програмного забезпечення в усьому світі. Майже два десятиліття ми допомагаємо SaaS, бізнесам з цифровими товарами та бізнесам на основі підписки розвиватися, керуючи платежами, глобальною податковою відповідністю, запобіганням шахрайству та періодичними доходами в масштабі. Наша гнучка хмарна платформа в поєднанні з консультаційними послугами допомагає клієнтам прискорити зростання, вийти на нові ринки та побудувати довгострокові відносини з клієнтами.

Дані є серцем усього, що робить клієнт, - вони забезпечують інсайти, рухають інноваціями та формують бізнес-рішення. Клієнт створює наступне покоління платформи даних і шукає Middle Data Engineer, щоб сприяти її розвитку.

Обов'язки

• Розробка та підтримка масштабних дата-пайплайнів з використанням S3, Apache Iceberg, Glue Data Catalog, EMR, Airflow (MWAA), Python та PySpark.
• Робота з даними через медальйонні шари, від первинного введення даних до бізнес-сутностей, багатовимірних моделей та готових до аналізу наборів даних.
• Інтеграція даних з різних вихідних систем, включаючи бази даних, API, бізнес-додатки та файл-базові джерела.
• Впровадження трансформацій даних та сприяння створенню кінцевих дата-продуктів, включаючи заплановані доставки даних та безсерверні робочі навантаження з використанням сервісів AWS Lambda та S3.
• Застосування автоматизованих тестувань та практик забезпечення якості даних по всіх дата-пайплайнам та сприяння управлінню метаданими, каталогізації, лініджу та документації за допомогою DataHub та сервісів AWS.
• Підготовка та надання кураторських даних у Snowflake для аналітики, звітності та випадків використання на основі SQL.
• Співпраця з архітекторами, інженерами DevOps, власниками продуктів, менеджерам інженерії та інженерами Power BI щодо впровадження рішень, CI/CD та інфраструктури на базі Terraform.
• Моніторинг дата-пайплайнів та виробничих робочих процесів, розслідування проблем, підвищення продуктивності та надійності, а також ведення технічної документації та керівств по роботі.

Вимоги

• 3+ роки досвіду в інженерії даних, бажано з AWS, дата-лейкхаусом або гібридними платформами даних.
• Значні навички Python, PySpark та SQL, з досвідом розробки виробничих дата-пайплайнів та трансформацій даних.
• Практичний досвід роботи з Airflow та сервісами даних AWS, включаючи S3, Apache Iceberg, Glue Data Catalog, Glue Data Quality, Athena та EMR.
• Гарне розуміння моделювання та гармонізації даних, включаючи багатовимірне моделювання, SCD Type 1 та 2, еволюцію схеми та роботу з даними з кількох вихідних систем.
• Досвід інтеграції даних з баз даних, API, бізнес-додатків та файл-базових джерел.
• Розуміння концепцій управління даними, включаючи управління метаданими, каталогізацію, лінідж та документацію. Досвід роботи з DataHub є плюсом.
• Знайомство з Snowflake, платформами BI, семантичними шарами та підходами до трансформацій на основі SQL або dbt.
• Досвід роботи з Git, GitLab CI/CD, автоматизованими тестуваннями та Infrastructure as Code. Досвід роботи з Terraform є плюсом.
• Хороші навички вирішення проблем та діагностики, з проактивним підходом до навчання та взяття відповідальності за покладені завдання.
• Хороші навички спілкування та документування.
• Вільне володіння англійською мовою або вище для ефективної співпраці з англомовними зацікавленими сторонами з боку клієнта.

Ми пропонуємо

• Гнучний робочий формат - віддалено, в офісі або гнучко
• Конкурентоспроможна зарплата та хороший компенсаційний пакет
• Індивідуальний кар'єрний ріст
• Інструменти для професійного розвитку (програма наставництва, технічні лекції та тренінги, центри досконалості тощо)
• Активні технічні спільноти з регулярним обміном знаннями
• Відшкодування вартості навчання
• Пам'ятні подарунки до ювілеїв
• Корпоративні заходи та командоутворення
• Інші переваги, що залежать від місця розташування

не застосовується до фрілансерів