Senior Big Data Software Engineer

Про посаду

EPAM Systems шукає Senior Big Data Software Engineer для розробки та підтримки внутрішніх систем сховищ даних для продуктів та додатків наших клієнтів. Ця посада доступна у віддаленому форматі з Львова, Україна.

Обов'язки

• Розробка та підтримка складних систем сховищ даних для обробки великих обсягів даних
• Проектування та оптимізація архітектури бази даних та схем даних
• Розробка та впровадження ефективних SQL-запитів для аналізу та обробки даних
• Розробка та впровадження програмних рішень з використанням екосистеми Hadoop (Yarn, MapReduce, Hive, HDFS)
• Використання Spark та Kafka для обробки та передачі даних у реальному часі
• Налаштування та управління хмарними сервісами AWS (EMR, S3, Lambda)
• Оптимізація існуючих рішень для зменшення споживання часу та ресурсів
• Співпраця з іншими інженерами та командами для створення масштабних та ефективних рішень
• Виконання аналізу даних, створення звітів та надання рекомендацій для вдосконалення системи
• Виявлення та впровадження кращих практик для забезпечення безпеки та цілісності даних
• Участь у підготовці технічної документації та підтримці документації для користувачів

Вимоги

• Більше 4 років досвіду роботи у розробці баз даних та проектуванні баз даних
• Експерт із SQL з досвідом роботи не менше 2+ років
• Хороші навички розробки на Python
• Досвід розробки програмного забезпечення з використанням компонентів екосистеми Hadoop (Yarn, MapReduce, Hive, HDFS)
• Практичний досвід роботи із Spark та Kafka
• Досвід роботи з хмарними сервісами AWS (EMR, S3, Lambda)
• Відмінні аналітичні та проблемно-орієнтовані навички
• Хороші комунікативні та презентаційні навички
• Уважність до деталей
• Здатність виконувати завдання в стислі терміни та розподіляти пріоритети

Буде плюсом

• Досвід адміністрування баз даних
• Досвід роботи з AWS Redshift
• Практичний досвід роботи з pyspark
• Розуміння підходів до масштабування сервісів/додатків

Про компанію

EPAM Systems є глобальною компанією з інженерії програмного забезпечення та розробки продуктів, яка надає цифрові платформи та рішення провідним компаніям світу.