Senior Data Engineer

Про посаду

Ми шукаємо досвідченого Senior Data Engineer, щоб проектувати, будувати та оптимізувати сучасні хмарні платформи даних, які забезпечують аналіз, AI та дата-продукти для всієї організації. Ви будете працювати над масштабованими пакетними, потоковими та майже реальними часовими трубопроводами, забезпечуючи високоякісні, відібрані набори даних, одночасно забезпечуючи надійне управління даними, безпеку та спостереження за даними в усьому екосистемі даних.

Обов'язки

• Будов & Інженерія дата-платформи

  • Проектування та впровадження масштабовних дата-платформ і трубопроводів, в основному на AWS і Databricks, з досвідом роботи в інших хмарних середовищах (Azure/Fabric, GCP, Snowflake) вважається плюсом.
  • Розробка надійних пакетних, потокових та майже реальними часовими трубопроводів з використанням таких технологій, як Spark і Delta Lake, а також створення робочих процесів інтеграції, трансформації та кураторства для структурованих і неструктурованих даних.

• Забезпечення AI, GenAI & Дата-продуктів

  • Надання високоякісних наборів даних, що підтримують аналіз, машинне навчання, моделювання причинно-наслідкових зв'язків та оптимізаційні системи.
  • Забезпечення дата-трубопроводів для випадків використання GenAI (включаючи LLM, RAG трубопроводи та векторні потоки даних), а також архітектур на основі агентів та інтелектуальних робочих процесів.

• Модель даних, оркестрація & автоматизація

  • Проектування масштабовних логічних і фізичних моделей даних для аналітичних і операційних випадків використання, забезпечуючи узгодженість між доменами.
  • Оркестрація робочих процесів за допомогою таких інструментів, як Airflow, dbt, Databricks Workflows або еквівалентів, з сильним акцентом на автоматизації, надійності та зручності обслуговування кінцевих трубопроводів.

• Архітектура, управління & спостереження

  • Застосування сучасних архітектурних паттернів, включаючи подію-орієнтовані та потокові архітектури, і забезпечення дотримання кращих практик управління даними, лінійності, якості та контролю доступу (RBAC/ABAC).
  • Встановлення міцного спостереження за даними, включаючи моніторинг свіжості даних, надійності трубопроводів та дотримання SLA.

• Послуги з даними, інтеграція & оптимізація

  • Забезпечення шарів послуг з даними (API, вхідні характеристики, аналітичні кінцевих точок) для підтримки нижчих систем, включаючи платформи ML та AI.
  • Постійний моніторинг та оптимізація трубопроводів та інфраструктури для забезпечення продуктивності, масштабованості та ефективності витрат у середовищах AWS та Databricks.

• Виявлення вимог & бізнес-партнерство

  • Проявіть справжню цікавість до кожного завдання - задавайте правильні питання, щоб зрозуміти не лише те, що просять зацікавлені сторони, але й чому.
  • Застосовуйте логічне мислення, детальний аналіз та рекомендації на основі досвіду, щоб допомогти визначити та уточнити бізнес-вимоги.

• Співпраця

  • Тісна співпраця з дата-вченими, інженерами ML, аналітиками та бізнес-зацікавленими сторонами для перетворення вимог у надійні дата-рішення.
  • Підтримка впровадження дата-продуктів та внесення вкладу у кращі практики в усьому дата- та AI-екосистемі.

Вимоги

Обов'язкові кваліфікації

• Технічні навички

  • Сильний практичний досвід роботи з Apache Spark і Delta Lake, а також сильні навички програмування на Python і SQL.
  • Перевірені навички створення пакетних та потокових дата-трубопроводів і дата-платформ виробничого рівня, з міцним розумінням принципів моделювання даних, якості даних та управління даними.

• Хмара & Платформи (Обов'язкова вимога)

  • Сильний, демонстративний практичний досвід роботи з AWS і Databricks є важливим. Знання інших сучасних дата-платформ, таких як Snowflake, Azure/Fabric або GCP, є плюсом, але не обов'язково.

• Архітектура & системне мислення

  • Досвід роботи з архітектурами lakehouse та розподіленими дата-системами, а також сильне розуміння міркувань масштабованості, надійності та продуктивності в дата-трубопроводах.

• Мислення

  • Природно цікавий, з сильними навичками вирішення проблем, орієнтованих на масштабованість та надійність, і з кооперативним підходом до роботи в кросс-функціональних командах.
  • Комфортно застосовує логічне мислення, детальний аналіз та рекомендації на основі досвіду, щоб допомогти визначити та кидати виклик бізнес-вимогам, а не приймати їх на слово. Досвід у Agile або консалтингових середовищах є корисним.

Буде плюсом

• Досвід роботи з GenAI та AI дата-системами (наприклад, RAG трубопроводи, векторні бази даних, підготовка даних для LLM), а також CI/CD для дата-трубопроводів та інструменти infrastructure-as-code, такі як Terraform або CloudFormation.
• Додатковий досвід у потокових технологіях (наприклад, Kafka), оптимізації Spark або розширених аналітичних та ML-робочих навантаженнях (включаючи платформи для причинно-наслідкових зв'язків або експериментів) є цінним.
• Досвід створення дата-продуктів або великомасштабних аналітичних платформ також є корисним.

Ми пропонуємо

Це посада Full-time на базі в Україні.

Окрім конкурентоспроможного компенсаційного пакету, ми пропонуємо:

• Ментальне та фізичне здоров'я

  • Медичне страхування
  • Бюджет на відшкодування спортивних витрат
  • Підтримка домашнього офісу
  • Кілька безкоштовних психологічних та юридичних консультацій
  • Підтримка декретної та батьківської відпустки

• Особистий та професійний розвиток

  • Внутрішні семінари та навчальні ініціативи
  • Відшкодування витрат на заняття англійською мовою
  • Відшкодування витрат на професійні сертифікати
  • Участь у професійних місцевих та глобальних спільнотах
  • Каркас зростання для управління очікуваннями та визначення кроків для просування до обраної кар'єри
  • Програма наставництва з можливістю стати наставником або учнем для зростання на вищу посаду
  • Valtech Ukraine має систему прогресивних пакетів пільг - чим довше ви залишаєтесь у компанії - тим більше пільг ви отримуєте.

Про компанію

Valtech - компанія, що інноваційно змінює досвід, яка існує, щоб відкрити кращий спосіб досвіду світу. Поєднуючи ремесла, категорії та культури, ми допомагаємо брендам відкрити нову цінність у все більш цифровому світі.

На перетині даних, AI, креативності та технологій ми здійснюємо трансформацію для провідних організацій, включаючи L’Oréal, Mars, Audi, P&G, Volkswagen Dolby та інші.

У Valtech ми не просто говоримо про трансформацію. Ми її здійснюємо. Наші люди є серцем нашого успіху, і ми сприяємо створенню робочого місця, де кожен має підтримку для процвітання, зростання та інновацій.

Чи готові ви створити наступне? Приєднуйтесь до нас.

Подайте заявку на цю посаду

Вказує на обов'язкове поле

---

Note: The translation has been done while preserving the Markdown formatting, professional tone, and technical terms in English. Company and product names have been kept in their original language.