Job Description, Responsibilities & Requirements
About the Position
EPAM у пошуку Senior Big Data Software Engineer для розробки та підтримки внутрішніх систем сховищ даних для продуктів та додатків нашого клієнта.
Responsibilities
- Розробка та підтримка складних систем сховищ даних для обробки великих обсягів даних
- Проєктування і оптимізація архітектури баз даних та схем даних
- Розробка та впровадження ефективних запитів SQL для аналізу та обробки даних
- Розробка і впровадження програмних рішень за допомогою екосистеми Hadoop (Yarn, MapReduce, Hive, HDFS)
- Використання Spark та Kafka для обробки та передачі даних у реальному часі
- Налаштування та керування хмарними сервісами AWS (EMR, S3, Lambda)
- Оптимізація існуючих рішень для зменшення витрат часу та ресурсів
- Співпраця з іншими інженерами та командами для створення масштабованих і ефективних рішень
- Виконання аналізу даних, створення звітів та рекомендацій для покращення систем
- Визначення й реалізація кращих практик для забезпечення безпеки та цілісності даних
- Участь у підготовці технічної документації та підтримка документації для користувачів
Requirements
- Більше 4 років досвіду в розробці сховищ даних та проєктуванні баз даних
- Експерт в SQL з досвідом роботи не менше 2+ років
- Хороші навички розробки на Python
- Розробка програмних рішень з використанням компонент екосистеми Hadoop (Yarn, MapReduce, Hive, HDFS)
- Практичний досвід з Spark та Kafka
- Досвід роботи з хмарними сервісами AWS (EMR, S3, Lambda)
- Відмінні аналітичні навички та навички комплексного вирішення проблем
- Хороші комунікаційні та презентаційні навички
- Уважність до деталей
- Здатність дотримуватися стислих термінів та вміння розставляти пріоритети
Nice to Have
- Досвід роботи в адмініструванні баз даних
- Досвід роботи з AWS Redshift
- Практичний досвід з pyspark
- Розуміння підходів масштабування сервісів/аплікацій
We Offer
- Remote work from Ukraine
About the Company
EPAM is a leading global software platform and product development and delivery company.