Senior Data Engineer

Про посаду

Компанія Simulmedia шукає досвідченого та динамічного Senior Data Engineer з цікавим і креативним мисленням для приєднання до нашої команди Data Services. Ідеальний кандидат матиме міцний досвід у Python, SQL та масштабних дата-піпайнах. Це шанс приєднатися до команди чудових інженерів, дата-сайентистів, продакт-менеджерів та дизайнерів, які одержимі створенням найсучаснішої рекламної платформи для телебачення та потокової трансляції на ринку. Як Senior Data Engineer, ви створюватимете, будуватимете та експлуатуватимете платформу для даних, яка забезпечує роботу компанії: піпайни, які приймають та трансформують надзвичайно великі набори даних від зовнішніх партнерів, моделі даних, які використовує вся компанія, та сервіси, які роблять ці дані доступними для внутрішніх продуктів. Ви будете працювати в команді, яка дозволяє іншим командам ефективно використовувати наш величезний обсяг даних.

Місцезнаходження: Україна обов'язкова. Наші офіси знаходяться в Києві та Львові. Команди розташовані в Києві та Львові та в основному працюють дистанційно з періодичними офлайн-зустрічами.

Обов'язки

• Проектування та створення пакетних дата-піпайнів, які приймають, перевіряють та трансформують багато мільярдів рядків даних від зовнішніх постачальників даних та внутрішніх систем
• Моделювання складних реальних даних: моделі вимірностей, довідкові дані та тимчасові дані, атрибути яких змінюються з часом (наприклад, повільно змінювані виміри) та безпечне оновлення цих моделей, коли джерела вище за потоком змінюють свої схеми та семантику
• Розробка та експлуатація робочих навантажень на нашій платформі lakehouse (Databricks / Spark / Delta) та нашому дата-складі (Redshift), включаючи перенесення існуючих піпайнів зі складу в lakehouse
• Оркестрація піпайнів за допомогою Airflow: планування, залежності, повтори, додаткові заповнення та сповіщення
• Доведення правильності, а не лише завершення: створення перевірок паритету та збіжних запитів при заміні існуючого піпайну, запуск великих історичних додаткових заповнень та дослідження розбіжностей у даних до рівня рядка
• Створення та підтримка Python сервісів та REST API, які надають дані для внутрішніх продуктів
• Оптимізація для продуктивності та вартості: налаштування запитів, дизайн таблиць, управління робочими навантаженнями та правильне визначення обчислювальних ресурсів
• Відповідальність за те, що ви створюєте: моніторинг робочих піпайнів, участь у виявленні аварійною ситуацією та аналізі першопричини, та зміцнення систем, щоб та сама помилка не повторювалася двічі
• Співпраця з продакт-менеджерами, дата-сайентистами та зацікавленими сторонами по всій компанії для виконання продуктового дорожнього мапу
• Робота в рамках Agile команди, яка регулярно випускає новітні функції
• Високий рівень відповідальності та свободи експериментувати з новими технологіями для покращення нашого програмного забезпечення

Вимоги

• Ступінь бакалавра в галузі комп'ютерних наук, комп'ютерної інженерії, відповідної технічної галузі або еквівалентний практичний досвід
• 7+ років досвіду роботи як дата-інженер
• Знання Python та його використання як основної мови розробки за останні роки
• Експертний рівень SQL: зручність у написанні, читанні та налаштування складних аналітичних запитів до дуже великих таблиць, та налагодження причин, чому два набори результатів не збігаються
• Практичний досвід роботи з платформою для розподіленої обробки даних (Spark/Databricks сильно рекомендуються; EMR, Snowflake або BigQuery також актуальні) та з колоночною базою даних (Redshift, Snowflake, BigQuery, ClickHouse тощо)
• Здатність проектувати складні дата-моделі: нормалізовані, вимірні та тимчасові (повільно змінювані виміри, записи з ефективними датами, точність за точкою в часі)
• Досвід роботи з інструментами для оркестрації робочих процесів (Airflow або подібні): створення DAGs, управління залежностями та запуск додаткових заповнень
• Досвід інтеграції сторонніх потоків даних: обробка зміщення схеми, запізнілі або відсутні доставки, дефекти якості даних від постачальників та версіоновані довідкові дані
• Досвід створення REST сервісів на Python (FastAPI, Flask тощо)
• Досвід розробки, підтримки та налагодження проблем у великих серверних кодових базах
• Робочий досвід роботи з AWS (S3, IAM, ECS або подібні обчислювальні ресурси) та Docker
• Хороше знання інженерних кращих практик та тестування (юніт-тестування, інтеграційне тестування, перевірка коду, CI/CD)
• Бажання взяти на себе високий рівень відповідальності за те, над чим ви працюєте
• Здатність швидко вчитися, підтримувати високий рівень якості та бути практичним
• Необхідність вміти спілкуватися з командами, що базуються в США
• Досвід роботи з архітектурами Delta Lake / медальйонного lakehouse є плюсом
• Досвід перенесення легаційних піпайнів між платформами з суворими вимогами до паритету є плюсом
• Досвід роботи з даними рекламної, медіа чи вимірювальної галузі є плюсом
• Здатність ефективно спілкуватися з командами, що базуються в США та працювати 11:00 AM - 8:00 PM EEST (11:00 - 20:00)

Наш технологічний стек

• Майже все, що ми використовуємо, працює на AWS (S3, ECS, EMR, RDS та інше)
• Python є нашою основною мовою; SQL є скрізь
• Databricks (Spark, Delta Lake) є нашою платформою lakehouse; Redshift та Postgres є нашими складами та операційними базами даних
• Airflow оркеструє наші піпайни
• Docker для упаковки; GitHub Actions та Jenkins для CI/CD
• Grafana, Sentry та OpenSearch для спостереження
• Набори даних, виміряні мільярдами рядків

Ми пропонуємо

• Можливість працювати з передовими технологіями
• Колаборативне та інноваційне робоче середовище
• Конкурентоспроможний компенсаційний пакет
• Гнучний робочий час

Про компанію

Компанія Simulmedia є провідною компанією в галузі рекламних платформ для телебачення та потокової трансляції. Ми прагнемо створити найсучаснішу рекламну платформу на ринку, використовуючи новітні технології та дата-сайєнс для доставки чудових результатів для наших клієнтів.