Senior Data Engineer

Про посаду

Ми шукаємо Senior Data Engineer для приєднання до команди Intellias, яка працює над програмою масштабної міграції корпоративної платформи даних для клієнта фінансових послуг. Це практична посада рівня Senior. Ви будете писати код для виробництва щотижня, відповідати за архітектурні рішення у своєму робочому потоці та надавати менторство інженеру середнього рівня, з яким ви будете працювати в парі.

Обов'язки

• Забезпечувати повне виконання одного або кількох пріоритетних даних доменів на Azure Databricks.
• Проектувати та створювати медальйони (Bronze / Silver / Gold) трубопроводи за допомогою Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming та Delta Lake з Liquid Clustering.
• Реєструвати відібрані дані продукти в Unity Catalog з правильними тегами, масками, фільтрами рядків, лініями та політиками доступу.
• Реалізувати контроль якості даних на кордоні Silver-to-Gold та вдосконалювати правила разом із стевардами домену.
• Упаковувати та розгортати роботу за допомогою Databricks Asset Bundles через Azure DevOps CI/CD.
• Писати автоматизовані тести та документацію.
• Працювати на рівні AI-as-Collaborator сьогодні з шляхом до AI-as-Orchestrator, використовуючи різні інструменти для прискорення повторюваних частин створення, тестування та розгортання трубопроводів.

Вимоги

• 6+ років досвіду в інженерії даних, принаймні останні три роки на Databricks у виробництві.
• Глибокий практичний досвід роботи з архітектурою медальйонів / Lakehouse, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines та Databricks Asset Bundles.
• Значні навички Python, PySpark та SQL, зручність у діагностуванні проблем з продуктивністю на великих навантаженнях через Spark UI та Photon.
• Реальний досвід роботи з інжинірингом потокової передачі даних (Kafka Structured Streaming, Auto Loader) та паттернами CDC.
• Досвід впровадження контролю якості даних у масштабі (Great Expectations або еквівалент), а також лінійності, каталогізації та контролю доступу.
• CI/CD на платформах даних через Azure DevOps або GitHub Actions, з інфраструктурою як кодом (Terraform або еквівалент).
• Вільне володіння англійською мовою.

Буде плюсом

• Активні сертифікації Databricks.
• Попередній досвід роботи з платформами інвестиційного менеджменту, даними операцій з активами, потоками ринкових даних від провідних постачальників.
• Сертифікація CDMP DAMA або еквівалентна сертифікація з управління даними.
• Досвід застосування інструментів агентського інжинірингу для виробництва інженерії даних (не тільки для особистої продуктивності), включаючи підключення MCP до Databricks або хмарних серверів.

Ми пропонуємо

• Конкурентоспроможну зарплату.
• Можливість працювати віддалено з Польщі, Португалії, Іспанії, України або з будь-якої точки світу.
• Шанс працювати над програмою масштабної міграції корпоративної платформи даних для клієнта фінансових послуг.
• Підтримуюче та інклюзивне робоче середовище, де пріоритетом є рівність, різноманітність та інклюзія.

Про компанію

У Intellias, де технологія займає центральне місце, люди завжди йдуть перед процесами. Створюючи комфортну атмосферу в нашій команді, ми надаємо можливості для розкриття вашого справжнього потенціалу та досягнення надзвичайних результатів. Ось чому ми пропонуємо ряд переваг, які підтримують ваше благополуччя та стимулюють ваш професійний ріст.

Ми прагнемо сприяти рівності, різноманітності та інклюзивності як роботодавець, який забезпечує рівні можливості. Всі претенденти будуть розглянуті для працевлаштування без дискримінації за ознакою раси, кольору шкіри, релігії, віку, статі, національності, інвалідності, сексуальної орієнтації, гендерної ідентичності чи самовираження, статусу ветерана чи будь-якої іншої характеристики, захищеної чинним законодавством.

Ми вітаємо та святкуємо унікальність кожної людини. Приєднуйтесь до Intellias для кар’єри, де ваші перспективи та внески є важливими для нашого спільного успіху.