Senior Data Engineer

Про посаду

Ми шукаємо досвідченого Senior Data Engineer, щоб проектувати, будувати та оптимізувати сучасні хмарні платформи для даних, які забезпечують аналіз, AI та продукти на основі даних для всієї організації.

Обов'язки

Інженерія платформи даних

• Проектування та впровадження масштабовних платформ та конвеєрів даних у хмарних середовищах (Azure/Fabric, AWS, GCP, Databricks, Snowflake).
• Розробка надійних пакетних, потокових та майже реальних конвеєрів даних з використанням технологій, таких як Spark та Delta Lake.
• Створення робочих процесів для завантаження, трансформації та кураторства як структурованих, так і неструктурованих даних.

Підтримка AI, GenAI та продуктів на основі даних

• Надання високоякісних наборів даних, що підтримують аналіз, машинне навчання, каузальне моделювання та системи оптимізації.
• Створення дата-конвеєрів для випадків використання GenAI (включаючи LLM, RAG-конвеєри та потоки даних на основі векторів), а також архітектур на основі агентів та інтелектуальних робочих процесів.

Моделювання даних, оркестрація та автоматизація

• Проектування масштабовних логічних та фізичних моделей даних для аналітичних та операційних випадків використання.
• Оркестрація робочих процесів за допомогою інструментів, таких як Airflow, dbt, Lakeflow або еквівалентів, з акцентом на автоматизації, надійності та зручності обслуговування кінцевих конвеєрів.

Архітектура, управління та спостереження

• Застосування сучасних архітектурних паттернів, включаючи подію-орієнтовані та потокові архітектури.
• Забезпечення дотримання кращих практик у галузі управління даними, лінійності, якості та контролю доступу (RBAC/ABAC).
• Встановлення міцного спостереження за даними, включаючи моніторинг свіжості даних, надійності конвеєрів та дотримання SLA.

Послуги з даних, інтеграція та оптимізація

• Забезпечення шарів для послуг з даних (API, вхідні дані для функцій, аналітичні кінцевих точки) для підтримки нижчих систем, включаючи платформи ML та AI.
• Постійний моніторинг та оптимізація конвеєрів та інфраструктури для підвищення продуктивності, масштабованості та ефективності витрат.

Співпраця

• Тісна співпраця з дата-сайєнтистами, інженерами з машинного навчання, аналітиками та бізнес-стейкхолдерами для перетворення вимог у надійні рішення на основі даних.
• Підтримка впровадження продуктів на основі даних та внесення вкладу у кращі практики в екосистемі даних та AI.

Вимоги

Обов'язкові кваліфікації

Технічні навички

• Глибокий досвід роботи з Apache Spark та Delta Lake.
• Сильні навички програмування на Python та SQL.
• Перевірені знання у створенні пакетних та потокових конвеєрів даних та продуктових платформ на основі даних.
• Глибоке розуміння принципів моделювання даних, якості даних та управління даними.

Хмарні платформи (Обов'язково)

• Досвід роботи з однією або кількома основними хмарними платформами, з перевагою для Microsoft Azure / Fabric, а також AWS або GCP.
• Знання сучасних платформ для даних, таких як Databricks та Snowflake.

Архітектура та системне мислення

• Досвід роботи з архітектурами типу lakehouse та розподіленими системами для даних.
• Глибоке розуміння масштабованості, надійності та міркувань щодо продуктивності у конвеєрах даних.

Міндсет

• Сильні навички вирішення проблем, орієнтовані на масштабованість та надійність.
• Колаборативний підхід до роботи у кросс-функціональних командах.
• Досвід роботи в Agile або консалтингових середовищах є плюсом.

Буде плюсом

• Досвід роботи з GenAI та AI системами для даних (наприклад, RAG-конвеєри, векторні бази даних, підготовка даних для LLM).
• Досвід роботи з CI/CD для конвеєрів даних та інструментами infrastructure-as-code, такими як Terraform, ARM або CloudFormation.
• Додатковий досвід у потокових технологіях (наприклад, Kafka), оптимізації Spark або розширених аналітичних та ML завдань (включаючи каузальні або експериментальні платформи) є цінним.
• Досвід у створенні продуктів на основі даних або масштабових аналітичних платформ є плюсом.

Ми пропонуємо

• Фізичне та психічне здоров'я: Медичне страхування, Відшкодування витрат на спорт, Підтримка домашнього офісу, Безкоштовні психологічні та юридичні консультації, Підтримка декретної відпустки та відпустки по догляду за дитиною.
• Особистий та професійний розвиток: Внутрішні робочі майстер-класи та навчальні ініціативи, Відшкодування витрат на курси англійської мови, Відшкодування витрат на професійні сертифікати, Участь у професійних місцевих та глобальних спільнотах, Структура зростання, Програма наставництва.

Про компанію

Valtech - це компанія, що спеціалізується на інноваціях у сфері досвіду, яка існує для того, щоб відкрити кращий спосіб досвіду світу. Поєднуючи ремесла, категорії та культури, ми допомагаємо брендам відкрити нову цінність у все більш цифровому світі.

На перетині даних, AI, креативності та технологій ми здійснюємо трансформацію для провідних організацій, включаючи L’Oréal, Mars, Audi, P&G, Volkswagen Dolby та багатьох інших.

У Valtech ми не просто говоримо про трансформацію. Ми її здійснюємо. Наші люди - це серце нашого успіху, і ми створюємо робочий простір, де кожен має підтримку для розвитку, зростання та інновацій.

Процес подання заявки

Після подачі заявки наша команда з підбору персоналу розгляне вашу заявку. Ваш резюме має містити ключову інформацію про відповідний досвід та експертизу. Ми не вимагаємо інформації, такої як вік, стать, сімейний стан або фото для резюме. Ми розглядаємо всіх кандидатів на основі їхніх навичок, досвіду та потенціалу.

⚠️ Обережно з шахрайством у сфері працевлаштування!

Ми прагнемо до інклюзивності та доступності. Якщо вам потрібні розумні заходи під час процесу співбесіди, будь ласка, вкажіть це у вашій заяві або повідомте вашого партнера з підбору персоналу.

Подати заявку на цю посаду

Вам цікаво побудувати кар'єру в Valtech? Отримуйте майбутні можливості прямо на вашу електронну пошту.

Створити сповіщення