Senior Data Engineer (Scala/Spark, Databricks)

Про посаду

Ми шукаємо досвідченого Senior Data Engineer зі спеціальністю в Scala, Spark та Databricks для приєднання до нашої команди. На цій посаді ви будете керувати розробкою, впровадженням та оптимізацією дата-піпайнів, забезпечуючи масштабоване та ефективне оброблення даних. Ваша робота дозволить агрегувати дані про купівлі та каталоги комерції в централізованому дата-озері, одночасно сприяючи інноваційним майбутнім проектам.

Будь ласка, зверніть увагу, що для посад в Україні ми розглядаємо лише кандидатів, які наразі проживають в Україні або планують повернутися найближчим часом. Можливість віддаленої роботи доступна лише з України.

Обов'язки

• Розробка та підтримка кодових баз для ETL та ELT піпайнів, обробки великих пакетів/мікро-пакетів та систем потокової обробки
• Створення інфраструктури для оптимальної екстракції, трансформації та завантаження даних з використанням Spark, ADF або подібних технологій
• Виявлення та впровадження внутрішніх процесних покращень, включаючи автоматизацію, оптимізацію даних та перепроектування інфраструктури для масштабованості
• Проектування та впровадження рішень для дата-сервісів з використанням технологій, таких як Spring Boot, ReactJS або NoSQL
• Забезпечення управління процесами в управлінні доставкою та виробництві з дотриманням обраної моделі доставки
• Виступати як єдиний пункт відповідальності за питання, пов'язані з доставкою, включаючи ескалацію, продажі та зменшення робочої сили
• Керувати технічною доставкою для забезпечення надійної архітектури та відповідності стандартам якості
• Визначення та документування історій з супутніми критеріями прийняття для агільних робочих процесів
• Координація з зацікавленими сторонами та командами різних дисциплін для забезпечення безперебійної реалізації проекту
• Виконання проектів з дотриманням процесів клієнтів, методологій та агільних підходів
• Встановлення стратегій управління ризиками безперервної доставки для проактивного прийняття рішень протягом усього життєвого циклу
• Підвищення продуктивності доставки за допомогою вимірювань та удосконалення процесів
• Надання експертних консультацій та керівництва Data Engineers для забезпечення якісних результатів
• Управління підтримкою та розгортанням виробництва

Вимоги

• Не менше 3 років досвіду роботи на позиціях інженера з даних
• Знання Scala, Spark та Databricks
• Досвід у роботі з SQL, включаючи написання та оптимізацію складних запитів
• Знання Spark Streaming та Apache Kafka
• Досвід у проектуванні дата-піпайнів з використанням Databricks або подібних інструментів
• Сильні соціальні навички з відмінними знаннями англійської мови (B2+) для прямого спілкування з клієнтами

Буде плюсом

• Навички в Apache Kafka, Apache Kafka Streams, PySpark та Spark Streaming
• Знання Python та його використання в контексті інженерії даних
• Знання хмарних платформ Azure для рішень з даних

Ми пропонуємо

• Можливість працювати з передовими технологіями
• Варіанти віддаленої роботи з України
• Професійний ріст та можливості для розвитку

Про компанію

[Опис компанії, якщо є]