Data Engineer

Про посаду

Ми шукаємо Senior Data Engineer з великим досвідом роботи з Apache Spark, PySpark та GCP Dataproc, щоб приєднатися до Implex та працювати над довгостроковим проектом із створення платформи для обробки даних для державного сектора на Близькому Сході.

Інженер буде сприяти розробці та підтримці конвеєрів обробки даних, які інтегрують декілька джерел даних підприємства, включаючи PostgreSQL, SAP HANA та об'єктне сховище, сумісне зі S3. Ця роль включає не тільки написання PySpark завдань, але й усунення несправностей розподілених робочих процесів, налаштування середовищ Dataproc, забезпечення безпеки зовнішніх з'єднань та забезпечення надійної доставки даних у цільове сховище даних.

Обов'язки

• Розробка, підтримка та оптимізація конвеєрів ETL з використанням Apache Spark та PySpark.
• Налаштування, запуск та усунення несправностей робочих процесів Spark на GCP Dataproc.
• Упакування та відправка Spark завдань, управління залежностями та аналіз логів драйвера та виконавців.
• Виявлення та усунення проблем із продуктивністю, пов'язаних з використанням пам'яті, переміщенням, розподілом, перекосом даних та розподіленою обробкою даних.
• Інтеграція робочих процесів Spark із об'єктним сховищем, сумісним зі S3, за допомогою Hadoop S3A connector.
• Налаштування та усунення несправностей підключення Spark до MinIO, включаючи політики відносно бакетів, користувацькі ендпоінти, доступ у стилі шляху, TLS, сумісність підписів та обробку перенаправлення.
• Налаштування користувацьких сертифікатів CA та Java truststores для драйверів та виконавців Spark.
• Реалізація та оптимізація масштабованих операцій читання та запису Spark JDBC для PostgreSQL та SAP HANA, включаючи розділення, пакетизацію, pushdown, відображення типів даних.
• Створення надійних інкрементальних завантажень даних, повторних спроб, заповнень, ідемпотентної обробки та механізмів узгодження даних.
• Проектування та підтримка паттернів потоку даних від стадії підготовки до публікації, масових завантажень даних та інтеграції сховища даних.
• Внесення вкладу у моделювання даних, еволюцію схем, паттерни Slowly Changing Dimension, лінію розвитку даних, технічну документацію та практики забезпечення якості даних.
• Застосування принципів безпечного управління секретами та принципів мінімального доступу при інтеграції даних.

Вимоги

• Сильна відповідальність за призначені завдання та відповідальність за надання надійних, готових до використання у виробництві рішень.
• Інженерний підхід з можливістю досліджувати складні проблеми в робочих процесах Spark, інфраструктурі Dataproc, базах даних, мережах та конфігураціях безпеки.
• Здатність працювати самостійно, систематично вирішувати проблеми та чітко передавати висновки, ризики та запропоновані рішення.
• Проактивне виявлення проблем із продуктивністю, надією, якістю даних та безпекою до їх впливу на робочі процеси у виробництві.
• Досвід роботи з технічними керівниками, менеджерами проектів, інфраструктурними командами та зацікавленими сторонами з боку клієнтів.
• Здатність розуміти існуючу архітектуру та бізнес-вимоги перед тим, як пропонувати технічні зміни.
• Читабельна та структурована технічна комунікація, включаючи ведення документації для конвеєрів, конфігурацій, інтеграцій та операційних процедур.
• Зобов'язання до чистого, підтримуваного, тестованого та повторно використовуваного коду.
• Готовність підтримувати існуючі конвеєри даних, досліджувати виробничі інциденти та брати участь у аналізі кореневих причин.
• Зручність роботи в корпоративному середовищі з вимогами безпеки, процесами затвердження, легаційними інтеграціями та кількома зовнішніми залежностями.
• Вільне володіння англійською мовою на рівні вище середнього для регулярного спілкування з міжнародною командою.
• Готовність до повної зайнятості на довгостроковій основі з урахуванням часових поясів, сумісних з командами на Близькому Сході та в Європі.

Буде плюсом

• Основи Linux + мережі: DNS, маршрутизація, базові принципи брандмауера/LB/проксі; інструменти, такі як curl/openssl s_client для перевірки.
• Безпечне управління секретами: GCP Secret Manager (або еквівалент), принцип мінімального доступу, уникнення жорстко закодованих облікових даних.
• Знання KAFKA, якщо ми коли-небудь включимо KAFKA в архітектуру.

Ми пропонуємо

• Довгостроковий міжнародний проект.
• Можливість працювати над цифровою платформою національного масштабу, яку використовують тисячі користувачів.
• Повна зайнятість на віддаленій основі.
• Професійне та підтримуюче командне середовище.
• Складні технічні завдання та значущий продукт із реальним впливом на світ.

Про компанію

Implex є компанією з розробки програмного забезпечення, яка надає високоякісні аутсорсингові послуги в США та Європі. Ми працюємо з найкращими людьми, надаючи їм можливість працювати над цікавими проектами та сучасними технологіями. Ми прагнемо побудувати довгострокові відносини зі своїми клієнтами. Це робить довіру, надійність та повагу принципами нашої культури. Наші клієнти вважають нас єдиним постачальником програмного забезпечення, який дозволяє зосередитися на розвитку бізнесу, не турбуючись про технічну сторону.

НАШІ ПОСЛУГИ:

• Дизайн продукту: UX/UI дизайн, функціональна та технічна архітектура, дорожня карта продукту.
• Інженерія продукту: Розробка веб- та мобільних додатків на повному циклі.
• Обслуговування продукту: Підтримка додатків та хмарної інфраструктури.