Middle Data Engineer

Про посаду

Як Middle Data Engineer, ви будете відповідальними за проектування, створення та підтримку масштабовних дата-піпайнів і дата-інфраструктури, які підтримують аналітику та прийняття рішень на основі даних. Ви будете тісно співпрацювати з Data Scientists, аналітиками та іншими інженерними командами для інтеграції даних з різних джерел, перетворення та обробки великих наборів даних, а також забезпечення надійної та ефективної доступності даних для нижчих застосунків та аналітики.

Обов'язки

• Проектування та підтримка дата-піпайнів для надходження, перетворення та завантаження даних з різних внутрішніх та зовнішніх джерел у дата-сховища або дата-озера.
• Розробка та оптимізація робочих процесів обробки даних для великих масштабів даних з використанням розподілених фреймворк для обробки даних та SQL-трансформацій.
• Забезпечення якості, надійності та моніторингу даних шляхом впровадження механізмів перевірки, логування та сповіщень по всіх дата-піпайнах.
• Співпраця з Data Scientists та аналітиками для надання чистих, добре структурованих наборів даних та підтримки аналітичних та звітних випадків використання.

Вимоги

• 1+ рік досвіду в Data Engineering / Analytics
• Сильні знання SQL: складні об'єднання, віконні функції, аґреґації, базова оптимізація запитів
• Хороші навички Python для обробки даних, ООП
• Розуміння концепцій ETL/ELT
• Досвід роботи з форматами parquet / json / csv
• Базове розуміння концепцій Data Lake
• AWS:
  • Практичний досвід роботи з Amazon Web Services (AWS)
  • Досвід:
    • Amazon S3 (бакети, життєвий цикл, права доступу)
    • Amazon RDS
    • AWS IAM (основи ролей та політики)
    • Amazon EC2
  • Базове розуміння VPC та груп безпеки

Буде плюсом

• Досвід роботи з Apache Spark
• Досвід роботи з Apache Airflow
• Знання Docker, Docker-compose, Kubernetes
• Досвід роботи з Databricks

Ми пропонуємо

• Оплачувану відпустку та лікарняні
• Конкурентоспроможну зарплату
• Гнучкий робочий графік
• Кар'єрне зростання
• Корпоративні свята та подарунки
• Корпоративні курси англійської мови
• Офісна/гібридна робота у Тернополі або можливість віддаленої роботи
• Кава, чай, фрукти та печиво в офісі

Про компанію

Ми шукаємо Middle Data Engineer з 1+ роком досвіду в Data Engineering для приєднання до нашої команди в Тернополі, Україна.

Зв'яжіться з нами

Отримайте безкоштовну консультацію з нашим експертом, щоб спланувати наступні кроки

Україна

+380 (68) 672 57 67

[email protected]

Площа Перемоги, 4А, Тернопіль, Україна 46000

201-732-9995

[email protected]

66 Willow Ave Hoboken NJ 07030

Естонія

Amazinum OÜ

Код реєстрації: 16893164

Harju maakond, Tallinn, Kesklinna linnaosa, Tornimäe tn 5, 10145