Senior DataOps Engineer

Про посаду

N-iX - це глобальна компанія з розробки програмного забезпечення, заснована у 2002 році, яка об'єднує понад 2,400+ професіоналів у сфері ІТ з 40+ країн. Ми надаємо інноваційні технологічні рішення в області хмарних обчислень, аналітики даних, AI, вбудованого програмного забезпечення, IoT та інше для лідерів глобальної індустрії та компаній Fortune 500. Приєднуйтесь до нас, щоб створювати технології, які створюють реальні зміни для бізнесу та людей по всьому світу.

Ми шукаємо Senior DataOps Engineer для приєднання до нашої команди.

Огляд клієнта:

Наш клієнт - це азербайджанська телекомунікаційна компанія, найбільший оператор мобільної мережі в Азербайджані. Основні продукти: Фіксована телефонія, Мобільна телефонія, Інтернет-послуги, Бездротова широкосмугова передача даних та Послуги додаткової вартості.

Цілі проекту:

Основна мета - пришвидшити ініціативи клієнта в галузі даних та AI за допомогою безпечної гібридної хмарної платформи на AWS, систематично модернізуючи ІТ-середовище як частину хмарної міграції.

Ключові цілі проекту включають:

• Хмарна платформа та Landing Zone: Розгортання цільової гібридної мережевої архітектури, створення безпечної Landing Zone та гібридних платформ для даних/AI на AWS.
• Безпека, відповідність та управління: Операціоналізація токенізації на локальних серверах (досягнення нульового рівня PII у хмарі), вирішення блоків політики для включення AWS в ISMS та створення Центру досконалості хмар (CCoE) для управління адаптацією хмар.
• Проектування та впровадження AI Chatbot & Voicebot: Розробка та впровадження флагманського чат-бота та голосового бота для обслуговування споживачів як першого гібридного набору.

Обов'язки

• Проектування, впровадження та підтримка фундаменту AWS Data Platform, включаючи макет озера Amazon S3, стандартизацію формату таблиці Apache Iceberg та інтеграцію каталогу даних AWS Glue.
• Створення та оптимізація масштабних пакетних та потокових даних трубопроводів з використанням Amazon EMR (Serverless та EMR-on-EKS), Apache Spark/PySpark, Apache Flink та Amazon Athena з обмеженнями витрат на групи робочих процесів.
• Впровадження пакетів токенізації та анонімізації даних на стороні даних (PA-T) за допомогою Protegrity/Spark UDFs для пакетної обробки, Spark Streaming для мікро-пакетної обробки та Kafka Connect SMT для маскування PII під час передачі в хмару.
• Створення та управління архітектурами реального часу потокової передачі з використанням Amazon MSK (Managed Streaming for Apache Kafka), MSK Replicator/MirrorMaker2 та інтеграцією Schema Registry.
• Впровадження архітектури медальйонів (бронзові, срібні, золоті шари) для моделювання даних у озерах, автоматизація реєстрації та заповнення таблиць Iceberg.
• Виконання хвиль міграції даних для наборів даних без PII та PII за допомогою AWS DataSync, автоматизованих кроків реєстрації та конфігурацій потокової міграції.
• Налаштування моделей управління доступом до даних та управління за допомогою AWS Lake Formation, авторизації між двигунами, AWS Macie для виявлення PII та інтеграції Informatica Data Catalog (Axon, EDC, BDQ).
• Створення автоматизованих компонентів виявлення зміщення схеми, інтеграції GitLab CI/CD для синхронізації наборів даних та автоматизованих контрактів/захисних механізмів для даних.
• Впровадження спостереження за DataOps, централізації логування через Amazon CloudWatch, налаштування моніторингу витрат та аномалій FinOps та налаштування автоматизованих сповіщень.
• Написання технічної документації, експлуатаційних керівництв, процедур відновлення після аварій (DR) та планів перемикання/відновлення для зміцнення платформи даних.

Вимоги

Обов'язкові технічні навички

• 4+ роки практичного досвіду роботи інженером з даних або DataOps інженером із створення платформ та трубопроводів даних класу підприємства.
• Глибокі знання стеку аналітики даних AWS: Amazon S3, AWS Glue Data Catalog, AWS Lake Formation, Amazon EMR (EMR-on-EKS / Serverless), Amazon Athena, AWS DataSync та Amazon MSK.
• Знання Apache Spark / PySpark та Spark Streaming для пакетної, мікро-пакетної та реальної обробки даних.
• Глибокий досвід проектування та впровадження архітектури озера медальйонів (бронзові, срібні, золоті шари).
• Практичний досвід впровадження токенізації та шифрування даних у масштабі (наприклад, Protegrity, Thales, FPE або де-ідентифікаційні піплайн на основі Spark UDF).
• Знання подійно-орієнтованих архітектур та потокової передачі: Apache Kafka / Amazon MSK, Kafka Connect (SMT), Schema Registry та MirrorMaker2 / MSK Replicator.
• Знання реляційних баз даних (Amazon RDS, PostgreSQL, Oracle) та методів синхронізації даних.
• Практичний досвід роботи з DataOps CI/CD та автоматизації: GitLab CI/CD, Infrastructure-as-Code (Terraform / AWS CDK), виявлення зміщення схеми та перевірка контрактів на дані.
• Знання інструментів управління даними та корпоративних каталогів даних (наприклад, Informatica Axon/EDC, AWS Lake Formation).

Буде плюсом

• Сертифікація AWS Certified Data Analytics – Specialty або AWS Certified Data Engineer – Associate.
• Досвід роботи з форматом таблиці Apache Iceberg, каталогуванням, компактуванням та еволюцією схеми.
• Досвід роботи з моделями даних у телекомунікаційній галузі, обробкою CDR та високопродуктивною реальною часовою телеметрією.
• Досвід роботи з токенізацією/детокенізацією на стороні хмари за допомогою Athena UDFs / AWS Lambda.
• Знання контейнеризації (Docker, EKS, Kubernetes) для великомасштабних часових середовищ.
• Досвід роботи з AWS Macie та фреймворками FinOps для виявлення аномалій та алокації витрат.

М'які навички та відповідність команді

• Сильне критичне мислення, вміння вирішувати проблеми та аналітичні навички.
• Відмінні навички спілкування та співпраці для роботи з крос-функціональними командами (Data Science, Cloud/Platform, Security, Governance).
• Орієнтація на результат, проактивний підхід з сильною відповідальністю за результати в рамках Agile / Scrum.
• Верхньо-середній рівень англійської мови (письмово та устно).

Ми пропонуємо

• Гнучний робочий формат - віддалено, в офісі або гнучко
• Конкурентоспроможна зарплата та хороший компенсаційний пакет
• Персоналізований кар'єрний ріст
• Інструменти для професійного розвитку (програма наставництва, технічні лекції та тренінги, центри досконалості та інше)
• Активні технічні спільноти з регулярним обміном знаннями
• Відшкодування витрат на освіту
• Пам'ятні подарунки до ювілеїв
• Корпоративні заходи та командоутворення
• Інші переваги, що залежать від місця розташування

не застосовується до фрілансерів