Senior Data Engineer

Про посаду

Ciklum шукає Senior Data Engineer для приєднання до нашої команди на повний робочий час в Україні. Ми є компанією з розробки власних продуктів, яка надає підтримку як багатонаціональним організаціям, так і стартапам, що масштабуються, для вирішення їхніх найскладніших бізнес-завдань. З глобальною командою із більш ніж 4000 висококваліфікованих розробників, консультантів, аналітиків та власників продуктів, ми створюємо технології, які перевизначають галузі та формують спосіб життя людей.

Як Senior Data Engineer, станьте частиною команди крос-функціонального розробника, яка створює досвід завтрашнього дня. Проект є 26-тижневою корпоративною ініціативою для глобального лідера в галузі промислової автоматизації. Основна мета – створити автоматизовану, AI-асистовану трубу для генерації структурованої документації на рівні системи безпосередньо з недокументованого кодового базису близько 400 тис. рядків коду (який включає мови IEC 61131-3 та ANSI C/C++).

Працюючи в рамках виділеного, безпечного тененту без виходу даних, технічна архітектура поєднує розбір AST Tree-sitter, графові знання Neo4j, пошук векторів Qdrant та самостійно розміщені відкриті LLM (Llama 3.1 / Mixtral сімейство) з перевіркою на основі NLI. Доставка структурована по 7 робочих пакетах, які виконуються протягом 6 місяців, і регулюється суворими договірними KPI: ≥95% покриття кодом, ≥92% фактичної точності, перевіреної NLI, та ≥90% прийняття експертів. Всі виходи відповідають вимогам EU Cyber Resilience Act (EU CRA) щодо SBOM та відстеження на рівні джерела.

Обов'язки

• Архітектура дата-труби: Створення та оптимізація високопродуктивних трубопроводів обробки даних, які пов'язують результати статичного аналізу коду, графові бази даних, векторні індекси та шари оркестрації LLM.
• Інженерія графу знань: Проектування та підтримка схем графів Neo4j для відображення залежностей коду, виклик функцій та ієрархій модулів понад 400 тис. рядків коду.
• Інтеграція AST: Інтеграція результатів парсера абстрактного синтаксичного дерева (AST) (Tree-sitter) у графові знання та векторні вкладення (Qdrant).
• Лінія даних та цілісність: Впровадження двостороннього відстеження перехресних посилань та версіонування знімків графу для забезпечення послідовності даних під час пакетних запусків документації.
• Тестування та моніторинг труби: Встановлення протоколів перевірки даних та автоматизованого тестування для здоров'я труби, продуктивності та збереження стану.
• Технічне співробітництво: Тісне партнерство з інженерами та архітекторами AI/ML для оптимізації якості пошуку та збирання контексту для RAG трубопроводів.

Вимоги

• Професійний досвід: 5+ років досвіду роботи в інженерії даних із створенням складних трубопроводів обробки даних та робочих процесів ETL/ELT.
• Спеціалізація за доменом (Має охоплювати щонайменше ОДИН ключовий домен):
  • Варіант 1 (фокус на статичному аналізі): Практичний досвід роботи з розбіранням абстрактного синтаксичного дерева (AST), статичним аналізом коду (наприклад, Tree-sitter, граматики мов) та моделюванням структури коду.
  • Варіант 2 (фокус на графі знань): Безпосередній досвід у проектуванні та оптимізації графових баз даних (Neo4j/Cypher), трубопроводах обробки документації та інтеграції пошуку векторів (Qdrant).
• Основний технічний стек: Високий рівень володіння Python, мовами запиту до графів, зберіганням векторів та сучасними інструментами інженерії даних.
• Інфраструктура та розгортання: Знання про контейнеризовану експлуатацію (Docker, Kubernetes) в безпечних, приватних або відключених середовищах.
• Якість та інженерні стандарти: Сильний фокус на якість коду, автоматизованому тестуванні трубопроводів, CI/CD та надійному версіонуванні.
• Мова: Повне професійне володіння англійською (C1+).

Ми пропонуємо

• Сильна спільнота: Працюйте разом з провідними професіоналами у дружньому середовищі з відкритими дверима.
• Фокус на зростанні: Беріть участь у масштабних проектах із глобальним впливом та розширюйте свою експертизу.
• Індивідуальне навчання: Підвищуйте свої навички за допомогою внутрішніх заходів (міт-апи, конференції, воркшопи), доступу до Udemy, мовних курсів та сертифікацій, оплачених компанією.
• Безмежні можливості: Досліджуйте різноманітні домени за допомогою внутрішньої мобільності, знаходячи найкраще, щоб отримати практичну експертизу з передовими технологіями.
• Гнучкість: Насолоджуйтеся радикальною гнучкістю – працюйте віддалено або з офісу, на ваш вибір.
• Турбота: Ми забезпечуємо вас компанійно оплаченою медичною страховкою, підтримкою психічного здоров'я та фінансовими та юридичними консультаціями.

Про компанію

У Ciklum ми завжди досліджуємо інновації, заохочуємо один одного досягати більшого та створюємо рішення, які мають значення. З нами ви будете працювати з передовими технологіями, сприятимете впливовим проектам та будете частиною культури One Team, яка цінує співпрацю та прогрес.

Як одна з найбільших ІТ-компаній України та топ-роботодавця, визнаного Forbes, ми протягом більш ніж 20 років надаємо значущі технологічні рішення. Ми гордо підтримуємо різноманітність талантів та ветеранів військової служби, визнаючи їх унікальні навички та перспективи, які вони вносять у формування майбутнього.

Досліджуйте, надайте повноваження, інженеруйте з Ciklum!

Вже зацікавилися? Ми хотіли б познайомитись з вами! Надішліть свою заявку. Ми з нетерпінням чекаємо вас у Ciklum.