Senior Big Data Software Engineer

Про посаду

EPAM шукає Senior Big Data Software Engineer для розробки та підтримки внутрішніх систем зберігання даних для продуктів та додатків наших клієнтів.

Обов'язки

• Розробка та підтримка складних систем зберігання даних для обробки великих обсягів даних
• Проектування та оптимізація архітектури бази даних та схем даних
• Розробка та впровадження ефективних SQL запитів для аналізу та обробки даних
• Розробка та впровадження програмних рішень з використанням екосистеми Hadoop (Yarn, MapReduce, Hive, HDFS)
• Використання Spark та Kafka для обробки та передачі даних у реальному часі
• Налаштування та управління хмарними сервісами AWS (EMR, S3, Lambda)
• Оптимізація існуючих рішень для зменшення споживання часу та ресурсів
• Співпраця з іншими інженерами та командами для створення масштабовних та ефективних рішень
• Виконання аналізу даних, створення звітів та надання рекомендацій для вдосконалення системи
• Виявлення та впровадження кращих практик для забезпечення безпеки та цілісності даних
• Участь у підготовці технічної документації та веденні користувацької документації

Вимоги

• Більше 4 років досвіду роботи у розробці баз даних та проектуванні баз даних
• Експерт із SQL з досвідом роботи не менше 2+ років
• Хороші навички розробки на Python
• Досвід розробки програмного забезпечення з використанням компонентів екосистеми Hadoop (Yarn, MapReduce, Hive, HDFS)
• Практичний досвід роботи із Spark та Kafka
• Досвід роботи з хмарними сервісами AWS (EMR, S3, Lambda)
• Відмінні аналітичні та проблемно-орієнтовані навички
• Хороші комунікативні та презентаційні навички
• Уважність до деталей
• Здатність виконувати завдання в стислі терміни та розподіляти пріоритети

Буде плюсом

• Досвід адміністрування баз даних
• Досвід роботи з AWS Redshift
• Практичний досвід роботи з PySpark
• Розуміння підходів до масштабування сервісів/додатків

Про компанію

[Опис компанії, якщо є]