Middle Data Engineer (6 months’ engagement)

Про посаду

N-iX шукає Middle Data Engineer на 6 місяців. Ви будете виступати як незалежний інженер з практичним досвідом та технічним власником готовності даних. Посада поєднує інженерію трубопроводів і запитів з дослідженням джерел, мапінгу, ієрархії та проблем валідації; координацією циклів валідації ринку та постачальника; узгодженням виходів; та доставкою технічно готових наборів даних споживачам нижче за течією.

Обов'язки

• Самостійно проектувати, розробляти, підтримувати, тестувати, впроваджувати та оптимізувати робочі процеси інтеграції, валідації, трансформації, агрегації, якості даних, виявлення аномалій та екстракції
• Розробляти та налагоджувати Python/PySpark пакети, SQL запити для екстракції, Databricks завдання, ADF трубопроводи, Delta таблиці та контракти джерело-ціль
• Відповідати за технічну готовність нових блоків та оновлення: уточнювати фільтри та очікуваний обсяг, впроваджувати або оновлювати запити, переглядати мапінги/конфігурації, узгоджувати виходи та підтверджувати готовність для бізнес-валідації
• Досліджувати проблеми джерела, NCID, таксономії, ієрархії, мапінгу, умов названь, агрегації, відсутніх тижнів, випадкових значень та продуктивності по всьому CDF, MDFA/PFME, API, ручних файлах та специфічних джерелах
• Координувати технічні цикли валідації з Продуктом, CMIA/ринками, WPP/MDFA, CDF, іншими постачальниками даних та Ekimetrics; перетворювати повідомлені розбіжності у дійсні власники та технічне доказування
• Керувати вирішенням складних інцидентів по трубопроводах, контрактах на дані, доступі, сервісних принципах, секретах, мережевих з'єднаннях, оновленнях Power BI та доставці нижче за течією
• Переглядати pull requests та тестові докази; керувати молодшим інженером та делегувати інженерну/підтримкову роботу без перетворення на керівника людей
• Підтримувати документацію архітектури, контракти інтерфейсів, документацію репозиторію, керівництва по роботі, процедури розгортання та керівництва підтримкою/ескалацією
• Рекомендувати практичні покращення автоматизації, надійності, продуктивності та зручності технічного обслуговування, дотримуючись стандартів платформи та власності бізнес-валідації.

Вимоги

• 5–6 років професійного досвіду інженерії з незалежним володінням виробництвом
• Значний досвід роботи з Python, PySpark та SQL, включаючи складні трансформації, оптимізацію запитів, багаторазове використання пакетів, налагодження, тести та узгодження
• Значний досвід роботи з інженерією ETL/ELT та пакетної обробки по реляційних сховищах, API, об'єктному зберіганні та інтеграції файлів
• Досвід роботи з хмарним дата-озером/дата-ледж, паттернами Medallion, контрактами схеми/інтерфейсу, контролем якості даних, оркестрацією, наглядом та відновленням після інцидентів
• Тверді практики інженерії Git: гілкування, pull requests, огляди, автоматизовані тести, контроль розгортання та документація
• Доведений досвід перетворення бізнес/даних вимог у фільтри, мапінги, трансформації, правила валідації та операційні робочі процеси
• Робота зі стейкхолдерами: пояснення розбіжностей, оскарження неповних вимог, встановлення технічних власників та забезпечення завершення проблем.

Буде плюсом

• Сильна перевага для Azure Data Factory, Azure Databricks, Databricks Jobs/API, Delta Lake, Snowflake, Azure Blob Storage/Data Lake, Power BI, GitHub та Azure Key Vault
• Цінний досвід роботи з Pandera або еквівалентними фреймворками валідації схеми, Streamlit, Managed Identity/service principals, Azure Communication Services, Managed VNet/Private Endpoints та практиками випуску Dev/Prod
• Досвід роботи з PFME/медійними даними, синдикованими продажами, маркетинговими ієрархіями, MMM входами або інтеграцією даних з кількох ринків бажаний, але може бути вивчений.

Ми пропонуємо

• Гнучний робочий формат - віддалено, в офісі або гнучко
• Конкурентоспроможна зарплата та хороший компенсаційний пакет
• Індивідуальний кар'єрний ріст
• Інструменти професійного розвитку (програма наставництва, технічні лекції та тренінги, центри досконалості та більше)
• Активні технічні спільноти з регулярним обміном знаннями
• Відшкодування освіти
• Пам'ятні подарунки до ювілеїв
• Корпоративні заходи та командоутворення
• Інші місцеві переваги

не застосовується до фрілансерів

Про компанію

N-iX - глобальна технологічна консалтингова та софтверна компанія з офісами у 12 країнах. Ми працюємо з провідними брендами для створення інноваційних цифрових рішень.