Senior Data Engineer (Scala/Spark, Databricks)

Про посаду

Ми шукаємо досвідченого Senior Data Engineer зі спеціальністю в Scala, Spark та Databricks для приєднання до нашої команди. На цій посаді ви будете керувати розробкою, впровадженням та оптимізацією дата-піплайнів, забезпечуючи масштабоване та ефективне оброблення даних. Ваша робота дозволить агрегувати дані про купівлі та каталоги комерційних даних у централізованому дата-озері, одночасно сприяючи інноваційним майбутнім проектам.

Будь ласка, зверніть увагу, що для позицій в Україні ми розглядаємо лише кандидатів, які наразі проживають в Україні або планують повернутися найближчим часом. Дистанційна робота доступна лише з України.

Обов'язки

• Розробка та підтримка кодових баз для ETL та ELT піплайнів, великого пакетного/мікро-пакетного оброблення та систем потокової передачі даних
• Створення інфраструктури для оптимальної екстракції, трансформації та завантаження даних з використанням Spark, ADF або аналогічних технологій
• Виявлення та впровадження внутрішніх процесних покращень, включаючи автоматизацію, оптимізацію даних та перепроектування інфраструктури для масштабованості
• Проектування та впровадження рішень для дата-сервісів з використанням технологій, таких як Spring Boot, ReactJS або NoSQL
• Забезпечення управління процесами в управлінні доставкою та виробництві з дотриманням обраної моделі доставки
• Виступати як єдиний пункт відповідальності за питання, пов'язані з доставкою, включаючи ескалацію, продажі та зменшення обсягів
• Керувати технічною доставкою для забезпечення надійної архітектури та відповідності стандартам якості
• Визначення та документування історій із супутніми критеріями прийняття для агільних робочих процесів
• Координація з зацікавленими сторонами та командами різних дисциплін для забезпечення безперебійної реалізації проектів
• Виконання проектів з дотриманням процесів клієнтів, методологій та агільних підходів
• Встановлення стратегій управління ризиками безперервної доставки для проактивного прийняття рішень протягом усього життєвого циклу
• Підвищення продуктивності доставки за допомогою вимірювань та удосконалення процесів
• Надання експертних консультацій та керівництва Data Engineers для забезпечення якісних результатів
• Управління підтримкою та розгортанням у виробництві

Вимоги

• Не менше 3 років досвіду роботи на позиціях інженера даних
• Знання Scala, Spark та Databricks
• Досвід у роботі з SQL, включаючи написання та оптимізацію складних запитів
• Знання Spark Streaming та Apache Kafka
• Досвід у проектуванні дата-піплайнів з використанням Databricks або аналогічних інструментів
• Сильні соціальні навички з відмінною володінням англійською мовою (B2+) для прямого спілкування з клієнтами

Буде плюсом

• Навички в Apache Kafka, Apache Kafka Streams, PySpark та Spark Streaming
• Знання Python та його використання в контексті інженерії даних
• Знання хмарних платформ Azure для рішень даних

Ми пропонуємо

• Можливість працювати з передовими технологіями
• Колаборативне та інноваційне робоче середовище
• Конкурентоспроможний компенсаційний пакет

Про компанію

[Опис компанії, якщо є]