Senior Data Integration Engineer

Про посаду

Ми шукаємо мотивованого Senior Data Integration Engineer, щоб приєднатися до нашої команди та відігравати ключову роль у створенні, оптимізації та міграції даних по всіх системах. Ця посада фокусується на використанні SQL, Azure, PySpark, HDFS та Snowflake для поліпшення робочих процесів даних, забезпечення безперебійної інтеграції та надання рішень складних задач з даними.

Обов'язки

• Розробка, створення та оптимізація SQL запитів та збережених процедур для ефективної обробки та інтеграції даних
• Керівництво проектами міграції даних з локальних систем або старих середовищ до Azure Synapse Analytics
• Робота з розширеними концепціями Snowflake, такими як віконні функції, загальні табличні вирази (CTEs) та збережені процедури на JavaScript
• Реалізація даних потоків за допомогою PySpark та управління обробкою файлів у середовищах Hadoop HDFS
• Створення та усунення неполадок у потоках Azure Data Factory (ADF) для інтеграції даних з ADLS та SFTP у цільові системи
• Співпраця з крос-функціональними командами для реалізації та автоматизації повних робочих процесів даних
• Моніторинг та підтримка продуктивності даних потоків, забезпечення масштабованості та надійності
• Розробка та підтримка технічної документації для архітектури даних, трансформацій та процесів потоку
• Надання технічного керівництва та наставництва молодшим інженерам та членам команди за потребою

Вимоги

• 3+ роки досвіду роботи з інтеграцією даних, міграцією та оптимізацією потоків даних через SQL та хмарні платформи
• Експертиза в Snowflake, включаючи Snowflake Analytics
• Розширені навички SQL із знанням віконних функцій, CTEs та збережених процедур на JavaScript
• Досвід роботи з PySpark та Hadoop HDFS, включаючи міграцію потоків даних з Cloudera Data Lake до Azure Synapse Analytics
• Володіння створенням потоків ADF для передачі даних із джерел, таких як ADLS та SFTP
• Знання Python, PySpark та SQL для завдань інженерії даних та автоматизації
• Розуміння хмарних сервісів Azure та досвід роботи з інструментами, такими як Azure Synapse Analytics та Power Automate
• Рівень англійської щонайменше B2 (Upper-Intermediate) для ефективного спілкування

Буде плюсом

• Знання із старими системами та досвід роботи з інтеграцією даних із локальних середовищ у хмарні платформи
• Демонстрація методів налаштування продуктивності для збережених процедур Snowflake та SQL потоків
• Кваліфікації в додаткових сервісах Azure або сертифікації

Ми пропонуємо

• Можливість працювати дистанційно в Україні
• Захоплююча роль у динамічній та інноваційній команді
• Конкурентоспроможний компенсаційний пакет

Про компанію

[Опис компанії, якщо є]