Senior Data Engineer (Databricks & PySpark)

Про посаду

У SDG Group ми вже більше 30 років перетворюємо дані на реальний вплив. Ми є глобальною консалтинговою компанією, повністю спеціалізованою на Data, Analytics та Artificial Intelligence, лідером галузі за версією Gartner, Penteo та Everest Group.

Ми є експертами, і це надає нам технічну глибину та знання бізнесу, що робить різницю в дата-драйвеній трансформації наших клієнтів: більше 1000 проектів, що розробляються щорічно, високоспеціалізовані команди та рішення, які виходять у виробництво.

Все це забезпечується нашим потрійним досвідом: бізнес-бачення, глибокі технологічні знання та технологічні альянси (Microsoft, Databricks, Snowflake, AWS, GCP, серед інших). Ця комбінація дозволила нам працювати з клієнтами IBEX-35 та Fortune 500, маючи глобальну присутність та більше 2000 співробітників по всьому світу.

Якщо ти хочеш рости у світі даних, це саме те місце.

Обов'язки

• Ти розроблятимеш піплайни даних end-to-end з Python та PySpark, від інтеграції до обробки в середовищах Big Data.
• Ти працюватимеш з Databricks над побудовою та оптимізацією процесів трансформації даних.
• Ти будеш брати участь у розробці архітектур та рішень для даних, співпрацюючи з більш досвідченими профілями.
• Ти впроваджуватимеш моделі даних та трансформації на Data Lakes, забезпечуючи ефективність та масштабованість.
• Ти будеш сприяти визначенню технічних вимог для піплайнів та процесів даних.
• Ти тестуватимеш та застосовуватимеш нові технології екосистеми Big Data та хмари в реальних проектах.

Вимоги

• +3 роки досвіду роботи Data Engineer в середовищах Big Data.
• Міцний досвід роботи з Python та PySpark.
• Досвід роботи з Scala в датових середовищах.
• Досвід роботи з Databricks (обов'язково).
• Досвід роботи з розподіленою обробкою даних з Apache Spark.
• Знання архітектур даних на Data Lake (моделювання, розділення, оптимізація).
• Досвід роботи в хмарних середовищах (Azure, AWS або GCP).

Буде плюсом

• Досвід роботи з оркестраторами типу Airflow або Databricks Workflows.
• Знання інструментів типу dbt, Snowflake або аналогічних.
• Досвід роботи з CI/CD та кращими практиками розробки.
• Позитивно оцінюватиметься рівень вільного володіння англійською мовою.

Ми пропонуємо

• Зростання та план кар'єри: Ти матимеш напіврічні або щорічні перегляди зарплати, залежно від професійної категорії, та розвиток на основі меритократії, з можливістю перейти на більш технічний шлях або на позиції лідерства та управління.
• Навчання та робота в команді: Ти будеш частиною команд з великим досвідом як технічним, так і бізнесовим, в колаборативному середовищі, де ти зможеш покладатися на інших професіоналів, вчитися у лідерів та постійно розвиватися.
• Різноманітність з метою: Приєднання до Хартії різноманітності в Іспанії відображає нашу прихильність до європейських принципів рівності, різноманітності та інклюзивності на робочому місці. Різні перспективи, кращі рішення.
• Стала позиція з перспективою: у тебе буде можливість побудувати свою кар'єру на довгостроковій основі, працюючи над проектами Data & Analytics, що створюють реальний вплив.
• Гнучкість: Гібридний модель роботи, адаптований до потреб команди, з можливістю 100% віддаленої роботи залежно від локації.
• Інтенсивна робота по п'ятницях та протягом липня та серпня.
• Зарплата відповідно до твого навчання та досвіду.
• Фінансова підтримка для віддаленої роботи.
• Постійне навчання: офіційні сертифікати, конференції, воркшопи та курси.
• Гнучка зарплата: талони на харчування, талони на дитячі садки, допомога у транспорті та приватне медичне страхування з Mapfre, що поширюється на твою сім'ю.

Про компанію

Дізнайся більше про нас:

• На нашому корпоративному вебсайті.
• Наші публікації та контент на Medium.
• У наших соціальних мережах: Instagram, LinkedIn та YouTube.