Про посаду

Як Middle Data Engineer, ви будете відповідальними за проектування, створення та обслуговування масштабних дата-піпайнів і дата-інфраструктури, які підтримують аналітику та прийняття рішень на основі даних. Ви будете тісно співпрацювати з Data Scientists, аналітиками та іншими інженерними командами для інтеграції даних з різних джерел, перетворення та обробки великих наборів даних, а також забезпечення надійної та ефективної доступності даних для нижчих застосунків та аналітики.

Обов'язки

Проектування та обслуговування дата-піпайнів для надходження, перетворення та завантаження даних з різних внутрішніх та зовнішніх джерел у дата-сховища або дата-лейки.
Розробка та оптимізація робочих процесів обробки даних для великих масштабних наборів даних з використанням розподілених фреймворк для обробки даних та SQL-трансформацій.
Забезпечення якості, надійності та моніторингу даних шляхом впровадження механізмів перевірки, логування та сповіщень по всіх дата-піпайнах.
Співпраця з Data Scientists та аналітиками для надання чистих, добре структурованих наборів даних та підтримки аналітичних та звітних випадків використання.

Вимоги

1+ рік досвіду в Data Engineering / Analytics
Знання SQL: складні об'єднання, віконні функції, аґреґації, базова оптимізація запитів
Хороші навички Python для обробки даних, ООП
Розуміння ETL/ELT концепцій
Досвід роботи з parquet / json / csv форматами
Базове розуміння концепцій Data Lake
AWS:
- Практичний досвід роботи з Amazon Web Services (AWS)
- Досвід з:
  - Amazon S3 (бакети, життєві цикли, права доступу)
  - Amazon RDS
  - AWS IAM (основи ролей та політики)
  - Amazon EC2
- Базове розуміння VPC та security groups

Буде плюсом

Досвід роботи з Apache Spark
Досвід роботи з Apache Airflow
Знання Docker, Docker-compose, Kubernetes
Досвід роботи з Databricks

Ми пропонуємо

Оплачувану відпустку та лікарняні
Конкурентоспроможна зарплата
Гнучкий робочий графік
Кар'єрний ріст
Корпоративні святкування та подарунки
Корпоративні курси англійської мови
Офісна/гібридна робота у Тернополі або можливість віддаленої роботи
Кава, чай, фрукти та печиво в офісі

Про компанію

Ми шукаємо Middle Data Engineer з 1+ роком досвіду в дата-інженерії та аналітиці, щоб приєднатися до нашої команди в Тернополі, Україна, на повну зайнятість.

Зв'яжіться з нами

Отримайте безкоштовну консультацію з нашим експертом, щоб спланувати наступні кроки

Україна

+380 (68) 672 57 67

[email protected]

вулиця Львівська, 22, Тернопіль, Україна 46009

Естонія

Amazinum OÜ

Код реєстру: 16893164

Harju maakond, Tallinn, Kesklinna linnaosa, Tornimäe tn 5, 10145

Middle Data Engineer

Job description