Job Description, Responsibilities & Requirements
Про посаду
Чи готові ви підвищити свої навички Python-інженерії та перейти в захоплюючу сферу Big Data? EPAM пропонує унікальну можливість, де ви можете забезпечити позицію після одного технічного інтерв'ю та отримати досвід у Big Data без впливу на ваш титул чи компенсацію.
Ця 8-тижнева програма перепідготовки розроблена для переходу Python-інженерів на позицію інженера Big Data. Навчальна програма розділена на три ключові фази: теоретичні курси, які ведуть фахівці з виробництва, практичні проекти або завдання, а також комплексна оцінка знань із зворотним зв'язком. Програма охоплює такі важливі теми, як управління даними, розподілені системи, Spark, Kafka, NoSQL бази даних та хмаро-нативні сервіси, пропонуючи міцну основу в платформах обробки даних. Навчання повністю онлайн, що дозволяє учасникам брати участь дистанційно.
Обов'язки
- Досліджувати Big Data та Hadoop: Отримати міцне розуміння концепцій Big Data, поглибитися в інфраструктуру Hadoop та її реальні застосування, а також дізнатися про характеристики даних та тенденції розгортання
- Розуміти практики DevOps: Ознайомитися з основами DevOps, включаючи безперервну інтеграцію та безперервне розгортання (CI/CD), та зрозуміти, як ці практики оптимізують розробку та експлуатацію програмного забезпечення
- Освоїти моделювання даних та архітектури: Вивчити основні техніки та рівні моделювання даних, які є важливими для інженерів та архітекторів даних, для ефективного управління та інтерпретації складних структур даних
- Поглибитися в Apache Spark: Поглибити свої знання про Spark з детальним вивченням його архітектури, компонентів та різноманітних функцій, включаючи Spark SQL, Spark ML та Spark Streaming
- Використовувати потужність Kafka: Зрозуміти основи Kafka та вивчити Kafka Connect та Kafka Streams для управління потоками даних у реальному часі та виконання обробки потоків
- Використовувати Elastic Stack та NoSQL: Отримати практичну досвід роботи з Elastic Stack для пошуку, аналізу та візуалізації даних у реальному часі, а також вивчити NoSQL бази даних для управління великими обсягами структурованих, напівструктурованих та неструктурованих даних
- Реалізувати потік даних та конвеєри: Вивчити основи переміщення даних та інструменти, такі як NiFi та Streamsets, для ефективного збору, переміщення та обробки даних
- Навігація оркестрації та запланування: Зрозуміти роль оркестрації в управлінні складними робочими процесами за допомогою інструментів, таких як Airflow та Jenkins
Вимоги
- 4+ роки досвіду роботи в IT
- Знання Python, SQL та хмарних платформ (AWS, GCP, Azure)
- Досвід роботи з інструментами, такими як Databricks, Spark, Docker та Kubernetes, є плюсом
- Знання англійської мови на рівні B1+ або вище
Місцезнаходження
- Дистанційно в Україні