Senior Data Engineer

Про посаду

Ми шукаємо досвідченого Senior Data Engineer для приєднання до нашої команди в Україні. Проект передбачає розробку та оптимізацію нової Data Platform для адаптації нашої поточної системи обробки даних. Якщо у вас є пристрасть до Data Software Engineering для створення впливових веб-додатків, ми хотіли б почути вас.

Обов'язки

• Розробка дата-процесинг піплайнів за допомогою Azure Data Factory та Azure Functions
• Реалізація процесів інгестиції та трансформації даних за допомогою Databricks та PySpark
• Написання ефективного коду на Python та SQL для витягнення, трансформації та завантаження даних
• Співпраця зі зацікавленими сторонами для збору вимог та забезпечення відповідності платформи бізнес-потребам
• Моніторинг та усунення проблем з продуктивністю платформи
• Впровадження заходів забезпечення якості даних та удосконалення процесів
• Оптимізація операцій зберігання та отримання даних
• Проведення аналізу даних та генерація інсайтів для прийняття рішень
• Навчання та наставництво молодших Data Engineers
• Участь у пірових оглядах коду та колективних командних заходах

Вимоги

• 3+ роки практичного досвіду в сфері big-data та досвід у Data Software Engineering
• Глибокі знання та досвід роботи з Azure Data Factory, Azure Functions та Databricks
• Володіння PySpark, Python та SQL
• Розуміння принципів пакетної обробки та ETL у Data Warehouses
• Досвід роботи з сигналами повноти даних та оркестрацією
• Знання про міграції схем та еволюцію наборів даних
• Знайомство з підходами до історичної повторної обробки та виправлення даних
• Хороші навички вирішення проблем та комунікації
• Вільне володіння англійською мовою на рівні B2+, сильне мовлення англійською

Буде плюсом

• Знайомство з Microsoft Power BI
• Досвід роботи з Azure Blob Storage, Azure File Storage

Ми пропонуємо

• Робота за гнучним графіком дистанційно або з будь-якого з наших комфортних офісів або коворкінгів в Україні
• Отримання необхідного обладнання для виконання робочих завдань
• Зміна проектів та технологічних стеків всередині EPAM
• Набуття досвіду в різних бізнес-доменах (Страхування, Електронна комерція, Охорона здоров'я, Фінанси, Подорожі, Медіа, Штучний інтелект та інше)
• Можливості переїзду для відповідних кандидатів, залежно від посади та відкритих вакансій в інших офісах EPAM
• Участь у волонтерських, благодійних програмах та спільнотах (як технічних, так і за інтересами)
• Орієнтація на професійний ріст:
  • Планування індивідуального кар'єрного шляху разом із менеджером
  • Отримання регулярних відгуків від колег
  • Безкоштовне вдосконалення англійської мови з сертифікованими викладачами (Клуби розмови, підготовка до співбесід з клієнтами тощо)
  • Можливість пройти безкоштовне навчання та сертифікацію в AWS, GCP або Azure Clouds
  • Використання внутрішньої програми E-learn (понад 18,200 спеціалізованих програм навчання та наставництва)
  • Доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсах
  • Навчання в Школі архітектури рішень EPAM з інструкторами, які є практикуючими архітекторами
  • Розвиток як лідер, приєднання до школи управління доставками, управління ресурсами, основ лідерства та інше
  • Участь у внутрішніх спільнотах (понад 500 мітапів, технічних дискусій, сесій мозкового штурму, онлайн-заходів та конференцій щорічно)
• Відпустка та лікарняний лист (включаючи лікарняний лист без медичного сертифіката)
• Широкий спектр програм добровільного медичного страхування, що надають як медичне лікування, так і різні профілактичні опції (включаючи спортивні заходи)
• Медичне страхування для членів сім'ї за корпоративними тарифами
• Підтримка компанії під час важливих життєвих подій (народження дитини або усиновлення, одруження тощо)
• Підтримка психологічного комфорту: знижки на послуги від фахівців з психічного здоров'я або коучів, тематичні тренінги
• Програма E-kids - безкоштовна програма навчання програмуванню для дітей EPAMers