Big Data Engineer

Про посаду

DataLabs шукає Інженера з Великих Даних із досвідом у SQL, Java, Python та Scala, щоб приєднатися до нашої команди в Україні. Ми створюємо чудові продукти, використовуючи новітні технології та вирішуємо бізнес-проблеми, які приносять задоволення не тільки нашим клієнтам, але й дизайнерській команді. Від розробки BI-рішення, яке забезпечує значну бізнес-цінність, до створення важливої презентації продажів у жорсткі терміни, ми об'єднуємо талановитих інженерів, щоб забезпечити рішення, які дійсно мають значення.

Обов'язки

• Дослідження, проектування та розробка відповідних алгоритмів для збору, обробки та аналізу великого обсягу даних;
• Інтеграція інструментів та платформ для роботи з Великими Даними;
• Визначення зовнішніх та внутрішніх джерел Великих Даних для аналітичної роботи;
• Отримання, обробка великих обсягів даних з різнорідних джерел даних, розробка методів та правил для необхідних процесів ETL;
• Розробка масштабованої та надійної інфраструктури обробки даних для задоволення потреб;
• Визначення та розробка вибіркових каналів передачі даних для узгодження різнорідних джерел даних;
• Розробка структури обробки даних для отримання, очищення, узгодження та зберігання оброблених даних у дата-озері або дата-сховищі;
• Виявлення та усунення проблем якості даних;
• Розробка платформи для автоматизації розгортання коду та інтеграції;
• Розробка високоякісного коду та бібліотек;
• Розробка CI/CD-піплайнів та середовища контролю версій;
• Розробка необхідних аналітичних звітів, вибірок та агрегатів Великих Даних;
• Управління життєвим циклом даних (процеси отримання, розміщення, зберігання, розповсюдження, міграції, архівування та видалення великих обсягів даних);
• Перетворення високорівневих цілей у досяжні, перевірені та вимірювані функціональні специфікації;
• Розробка рішень, що відповідають політикам безпеки та управління даними;
• Надання доступу до даних;
• Виявлення аномалій та аудит, моніторинг продуктивності.

Вимоги

• Досвід роботи з Великими Даними;
• Досвід у програмних мовах (SQL, Java, Python, Scala, Shell тощо);
• Експертне знання та розуміння технологій (Spark, Databricks тощо);
• Досвід у створенні дата-сховищ та процесів дата-майнінгу, обробки та трансформації;
• Досвід у моделюванні та аналізі даних;
• Досвід у інтеграції даних різних форматів та з кількох джерел;
• Досвід у роботі з базами даних (Postgres, MongoDB тощо);
• Інструменти управління даними (Apache тощо);
• Англійська - на рівні Intermediate та вище;
• Експертне знання принципів Agile/Scrum та управління проектами (буде плюсом);
• Висока мотивація;
• Сильні комунікаційні та навички роботи в команді.

Ми пропонуємо

• Ряд переваг для штатних співробітників;
• Програму професійного розвитку.

Про компанію

Ми створюємо чудові продукти, використовуючи новітні технології та вирішуємо бізнес-проблеми, які приносять задоволення не тільки нашим клієнтам, але й дизайнерській команді. Від розробки BI-рішення, яке забезпечує значну бізнес-цінність, до створення важливої презентації продажів у жорсткі терміни, ми об'єднуємо талановитих інженерів, щоб забезпечити рішення, які дійсно мають значення.