Senior Data Engineer

Про посаду

Ми шукаємо Senior Data Engineer для приєднання до команди Intellias, яка працює над програмою переміщення масштабної корпоративної платформи даних для клієнта фінансових послуг. Це керівна посада старшого рівня. Ви будете писати код для виробництва щотижня, відповідати за архітектурні рішення у своєму робочому потоці та надавати менторство інженеру середнього рівня, з яким ви будете працювати в парі.

Обов'язки

• Виконувати повний цикл доставки одного або кількох пріоритетних даних доменів на Azure Databricks.
• Проектувати та створювати медальйони (Bronze / Silver / Gold) трубопроводи за допомогою Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming та Delta Lake з Liquid Clustering.
• Реєструвати відібрані дані продукти в Unity Catalog з правильними тегами, масками, фільтрами рядків, лініями та політиками доступу.
• Реалізувати ворота якості даних на межі Silver-to-Gold та вдосконалювати правила разом із стевардами домену.
• Упаковувати та розгортати роботу за допомогою Databricks Asset Bundles через Azure DevOps CI/CD.
• Писати автоматизовані тести та документацію.
• Працювати на рівні AI-as-Collaborator сьогодні з шляхом до AI-as-Orchestrator, використовуючи Claude Code, Databricks Assistant, GitHub Copilot та MCP-підключені інструменти агентів для прискорення повторюваних частин створення, тестування та розгортання трубопроводів.

Вимоги

• 6+ років досвіду в галузі інженерії даних, принаймні останні три роки на Databricks у виробництві.
• Глибокий практичний досвід роботи з медальйоном / Lakehouse архітектурою, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines та Databricks Asset Bundles.
• Значний досвід роботи з Python, PySpark та SQL, зручність у діагностуванні проблем з продуктивністю на великих навантаженнях через Spark UI та Photon.
• Реальний досвід роботи з потоковою інтеграцією (Kafka Structured Streaming, Auto Loader) та паттернами CDC.
• Досвід впровадження якості даних у масштабі (Great Expectations або еквівалент), а також лінія, каталогізація та контроль доступу.
• CI/CD на платформах даних через Azure DevOps або GitHub Actions, з інфраструктурою як кодом (Terraform або еквівалент).
• Вільне володіння англійською мовою.

Буде плюсом

• Активні сертифікати Databricks.
• Попередній досвід роботи з платформами управління інвестиціями, даними операцій з активами, потоками ринкових даних від провідних постачальників.
• Сертифікація CDMP DAMA або еквівалентна сертифікація управління даними.
• Досвід застосування інженерних інструментів агентів до виробництва інженерії даних (не тільки для особистої продуктивності), включаючи підключені до MCP Databricks або хмарні сервери.

Ми пропонуємо

У Intellias, де технологія займає центральне місце, люди завжди йдуть перед процесами. Створюючи комфортну атмосферу в нашій команді, ми дозволяємо людям розкрити свій справжній потенціал і досягти надзвичайних результатів. Ось чому ми пропонуємо ряд переваг, які підтримують ваше благополуччя та заряджають ваш професійний ріст.

Ми прагнемо сприяти рівності, різноманітності та інклюзивності як роботодавець, який забезпечує рівні можливості. Всі претенденти будуть розглядатися для працевлаштування без дискримінації за ознакою раси, кольору шкіри, релігії, віку, статі, національності, інвалідності, сексуальної орієнтації, гендерної ідентичності чи самовираження, статусу ветерана чи будь-якої іншої характеристики, захищеної чинним законодавством.

Ми вітаємо та святкуємо унікальність кожної людини. Приєднуйтесь до Intellias для кар'єри, де ваші перспективи та внески є важливими для нашого спільного успіху.

Про компанію

Intellias - це компанія, де технологія займає центральне місце, а люди завжди йдуть перед процесами. Створюючи комфортну атмосферу в нашій команді, ми дозволяємо людям розкрити свій справжній потенціал і досягти надзвичайних результатів.