Data Engineer

Про посаду

Ми шукаємо Senior Data Engineer з великим досвідом роботи з Apache Spark, PySpark та GCP Dataproc, щоб приєднатися до Implex та працювати над довгостроковим проектом із створення дата-платформи для державного сектора на Близькому Сході. Інженер буде сприяти розробці та підтримці дата-процесних піплайнів, які інтегрують кілька корпоративних джерел даних, включаючи PostgreSQL, SAP HANA та об'єктне сховище, сумісне з S3. Роль включає не лише написання PySpark-завдань, але й усунення неполадок у розподілених робочих навантаженнях, налаштування середовищ Dataproc, забезпечення безпеки зовнішніх з'єднань та надійної доставки даних у цільове сховище даних.

Обов'язки

• Розробка, підтримка та оптимізація ETL-піплайнів за допомогою Apache Spark та PySpark.
• Налаштування, запуск та усунення неполадок робочих навантажень Spark на GCP Dataproc.
• Упакування та відправка Spark-завдань, управління залежностями та аналіз логів драйвера та виконавців.
• Виявлення та усунення проблем із продуктивністю, пов'язаних із використанням пам'яті, переміщенням, розподілом, перекосом даних та розподіленою обробкою даних.
• Інтеграція робочих навантажень Spark із об'єктним сховищем, сумісним із S3, за допомогою Hadoop S3A connector.
• Налаштування та усунення неполадок у підключенні Spark до MinIO, включаючи політики бакетів, користувацькі ендпоінти, доступ у стилі шляху, TLS, сумісність підписів та обробку перенаправлення.
• Налаштування користувацьких сертифікатів CA та Java truststores для драйверів та виконавців Spark.
• Реалізація та оптимізація масштабованих читання та записів Spark JDBC для PostgreSQL та SAP HANA, включаючи розділення, пакетну обробку, pushdown та відображення типів даних.
• Створення надійних інкрементальних завантажень даних, повторних спроб, заповнень, ідемпотентної обробки та механізмів узгодження даних.
• Проектування та підтримка паттернів дата-флоу із тимчасового сховища до публікації, масових завантажень даних та інтеграції сховища даних.
• Внесення змін у моделювання даних, еволюцію схем, паттерни Slowly Changing Dimension, лінію даних, технічну документацію та практики якості даних.
• Застосування безпечного управління секретами та принципів обмеженого доступу в усіх дата-інтеграціях.

Вимоги

• Сильна відповідальність за призначені завдання та відповідальність за надання надійних, готових до використання у виробництві рішень.
• Практичний інженерний підхід із здатністю досліджувати складні проблеми в робочих завданнях Spark, інфраструктурі Dataproc, базах даних, мережевих конфігураціях та безпеці.
• Здатність працювати самостійно, систематично вирішувати проблеми та чітко передавати висновки, ризики та запропоновані рішення.
• Проактивне виявлення проблем із продуктивністю, надією, якістю даних та безпекою до їх впливу на робочі процеси виробництва.
• Досвід роботи з технічними керівниками, проектними менеджерами, інфраструктурними командами та зацікавленими сторонами з боку клієнта.
• Здатність розуміти існуючу архітектуру та бізнес-вимоги перед тим, як пропонувати технічні зміни.
• Чиста та структурована технічна комунікація, включаючи ведення документації для піплайнів, конфігурацій, інтеграцій та експлуатаційних процедур.
• Зобов'язання до чистого, підтримуваного, тестованого та повторно використовуваного коду.
• Готовність підтримувати існуючі дата-піплайни, досліджувати виробничі інциденти та брати участь у аналізі кореневих причин.
• Зручність роботи в корпоративному середовищі з вимогами безпеки, процесами затвердження, легаційними інтеграціями та кількома зовнішніми залежностями.
• Володіння англійською мовою на рівні від середнього до верхнього середнього для регулярного спілкування з міжнародною командою.
• Готовність до повної зайнятості, довгострокової співпраці в часовому поясі, сумісному з командами на Близькому Сході та в Європі.

Буде плюсом

• Адаптивність
• Комунікація
• Agile
• Google Cloud Platform (GCP)
• Технологічний стек
• Python
• Linux
• Основи мереж: DNS, маршрутизація, базові принципи брандмауера/LB/проксі; інструменти, такі як curl/openssl s_client для перевірки
• Безпечне управління секретами: GCP Secret Manager (або еквівалент), обмежений доступ, уникнення жорстко закодованих облікових даних
• Знання KAFKA, якщо ми коли-небудь включимо KAFKA в архітектуру

Ми пропонуємо

• Довгостроковий міжнародний проект
• Можливість працювати над цифровою платформою національного масштабу, яку використовують тисячі користувачів
• Повна дистанційна робота
• Професійне та підтримуюче командне середовище
• Складні технічні завдання та значущий продукт із реальним впливом

Процес найму

• Інтерв'ю з HR
• Інтерв'ю з PM/Technical у Implex
• Інтерв'ю з Dev Lead на стороні клієнта

Про компанію

Implex - це компанія з розробки програмного забезпечення, яка надає високоякісні аутсорсингові послуги в США та Європі. Ми працюємо з найкращими людьми, надаючи їм можливість працювати над цікавими проектами та сучасними технологіями. Ми прагнемо побудувати довгострокові відносини зі своїми клієнтами. Це робить довіру, надійність та повагу принципами нашої культури. Наші клієнти визнають нас як єдину компанію з розробки програмного забезпечення, яка дозволяє зосередитися на розвитку бізнесу, не турбуючись про технічну сторону.

НАШІ ПОСЛУГИ:

• Продакт дизайн: UX/UI дизайн, функціональна та технічна архітектура, продуктова дорожня карта
• Продакт інжиніринг: Повний цикл розробки веб- та мобільних додатків
• Продакт обслуговування: Підтримка додатків та хмарної інфраструктури