Senior Data Engineer (Redshift)

Про посаду

Старший Інженер з даних (Redshift)

Про компанію

Welltech - це глобальна компанія з українськими коренями, що займається технологіями для добробуту. Наша місія - будувати та розвивати додатки для здоров'я по всьому світу за допомогою передового маркетингу на основі технологій.

Ми є одним із найстаріших гравців на ринку додатків для здоров'я, і ми активно розвиваємось. Понад 25,5 мільйонів людей у всьому світі використовують наші додатки - Muscle Booster, Yoga-Go та WalkFit - щоб створювати здорові звички, більше рухатися та відчувати себе краще кожен день. Кожна підписка представляє реальну людину, яка робить реальні зміни у своєму житті, і ми ставимося до цього серйозно.

Ми об'єднуємо команду із більш ніж 500 людей у центрах у Кіпрі, Україні, Польщі, Іспанії та Великобританії, поєднуючи масштаби лідера ринку та мотивацію команди, яка тільки починає свій шлях.

Обов'язки

Як Старший Інженер з даних, ви відіграватимете вирішальну роль у створенні та підтримці фундаменту нашого екосистеми даних. Ви будете працювати разом з інженерами з даних, аналітиками та продуктовими командами, щоб створити надійні, масштабовані та високоефективні дата-пайплайни та моделі. Ваша робота безпосередньо впливатиме на те, як ми надаємо аналітичні дані, забезпечуємо функціональність продуктів та впроваджуємо прийняття рішень на основі даних у всій компанії.

Завдання, з якими ви зіткнетесь:

• Розробка та оптимізація пайплайнів: Створюйте та підтримуйте надійні, масштабовані ETL/ELT пайплайни, використовуючи сучасні інструменти та кращі практики, забезпечуючи ефективний потік даних для аналітики та отримання інсайтів.
• Моделювання та трансформація даних: Розробляйте та впроваджуйте ефективні моделі даних, які відповідають бізнес-потребам, забезпечуючи високоякісну звітність та аналіз даних.
• Співпраця між командами: Тісно співпрацюйте з даними аналітиками, менеджерами продуктів та іншими інженерами, щоб зрозуміти вимоги до даних та забезпечити рішення, які відповідають потребам бізнесу.
• Забезпечення якості даних: Розробляйте та застосовуйте перевірки якості даних, рамки валідації та моніторинг, щоб забезпечити послідовність, точність та надійність даних.
• Продуктивність та ефективність: Виявляйте та вирішуйте проблеми з продуктивністю у пайплайнах, запитах та зберіганні даних. Пропонуйте та впроваджуйте оптимізації, які підвищують швидкість та надійність.
• Безпека та відповідність: Дотримуйтесь кращих практик безпеки даних та забезпечуйте, що пайплайни відповідають стандартам конфіденційності та відповідності даних.
• Інновації та постійне вдосконалення: Тестуйте нові інструменти та підходи, створюючи докази концепції (PoC) та проводячи оцінки продуктивності, щоб знайти найкращі рішення.
• Автоматизація та практики CI/CD: Сприяйте розробці надійних CI/CD пайплайнів (GitLab CI або аналогічних) для робочих процесів з даними, підтримуючи автоматизовані тестування та розгортання.

Вимоги

• 4+ роки досвіду у інженерії даних або розробці серверної частини, з акцентом на створенні дата-пайплайнів для виробництва.
• 2-3+ роки досвіду роботи з сервісами AWS (обов'язково адміністрування Redshift),
• Глибокий досвід роботи з сервісами AWS** **(Spectrum, S3, RDS, Glue, Lambda, Kinesis, SQS).
• Знання Python та SQL для трансформації та автоматизації даних.
• Досвід роботи з dbt для моделювання та трансформації даних.
• Гарне розуміння архітектур потокової передачі даних та мікро-батчінгу для потреб реального часу.
• Досвід роботи з CI/CD пайплайнами для робочих процесів з даними (бажано GitLab CI).
• Знання інструментів/рішень для валідації схем подій (Snowplow, Schema Registry).
• Відмінні навички спілкування та співпраці. Сильні навички вирішення проблем - здатність глибоко вивчати проблеми з даними, пропонувати рішення та забезпечувати чистий та надійний результат.
• Орієнтація на зростання - захоплюєтесь вивченням нових інструментів, обміном знаннями та вдосконаленням практик команди.

Буде плюсом

• Досвід роботи з додатковими сервісами AWS: EMR, EKS, Athena, EC2.
• Практичні знання альтернативних сховищ даних типу Snowflake або інших.
• Досвід роботи з PySpark для обробки великих даних.
• Знання інструментів для збору даних подій (Snowplow, Rudderstack тощо).
• Зацікавленість або досвід у платформах клієнтських даних (CDP) та робочих процесах з даними в реальному часі.

Ми пропонуємо

• Місце: Лімасол, Кіпр або віддалено
• Тип зайнятості: Повна зайнятість

Технологічний стек, з яким ви будете працювати

• Хмара: AWS (Redshift, Spectrum, S3, RDS, Lambda, Kinesis, SQS, Glue, MWAA)
• Мови програмування: Python, SQL
• Оркестрація: Airflow (MWAA)
• Моделювання: dbt
• CI/CD: GitLab CI (включаючи адміністрування GitLab)
• Моніторинг: Datadog, Grafana, Graylog
• Процес валідації схем подій: Iglu schema registry
• API та інтеграції: REST, OAuth, webhook споживання
• Інфраструктура як код (необов'язково): Terraform

Шлях кандидата

⭕️ Дзвінок від рекрутера ➔ ⭕️ Технічний дзвінок з менеджером з підбору ➔ ⭕️ Зустріч із майбутніми зацікавленими сторонами

Ознайомтесь з деякими нашими продуктами

• Muscle Booster
• Yoga-Go
• WalkFit