Senior Database Engineer (Iceberg)

Про посаду

Ми шукаємо експерта Senior Database Engineer (Iceberg), щоб розробляти, оптимізувати та масштабувати нашу наступну генерацію багатохмарної архітектури дата-лейкхаусу на AWS та Azure. На цій посаді ви будете використовувати Open Lakehouse клієнта (інтегрований з Talend Cloud клієнта) для створення низьконакладної, високопродуктивної датової основи. Ви будете керувати автоматизованим завантаженням даних, впроваджувати постійну оптимізацію таблиць, займатися дзеркалюванням даних між хмарами та забезпечувати безперебійний доступ до кількох двигунів без прив'язки до конкретного постачальника.

Обов'язки

• Архітектурне проектування: Створення та підтримка масштабованих ACID-сумісних дата-лейкхаусів за допомогою Apache Iceberg.
• Еволюція схем та розділів: Управління безперебійними оновленнями схем та специфікацій розділів без перезапису історичних даних.
• Інтеграція двигуна: Налаштування та оптимізація каталогів Iceberg.
• Управління даними: Впровадження безпеки на рівні рядків та стовпців, запитів до історичних даних та протоколів зберігання/очищення даних.
• Кращі практики: Встановлення стандартів розробки для одночасних записів, розгалуження, маркування та вирішення конфліктів.

Вимоги

• Досвід: 5+ років у Data Engineering/Architecture, щонайменше 2 роки з акцентом на реалізації Apache Iceberg.
• Масштаб: Доведений досвід управління багатопетабайтними наборами даних та високопродуктивними потоковими/пакетними системами завантаження даних.
• Розв'язання проблем: Досвід у виявленні та усунення конфліктів при записі, проблем з розміром файлів (проблема малих файлів) та вузьких місць синхронізації каталогу.

Буде плюсом

• Знання багатохмарних середовищ (AWS, Azure).
• Досвід роботи з Talend Cloud.

Ми пропонуємо

• Розширюючі проекти: З більш ніж 500 клієнтами в різних галузях та сферах, ми надаємо захоплюючі можливості для участі в новаторських проектах, які використовують передові технології.
• Розвиток кар'єри: Ми заохочуємо культуру постійного навчання та професійного розвитку.
• Різноманітність та інклюзивність: У GlobalLogic, ми глибоко цінуємо та підтримуємо різноманітність. Ми прагнемо забезпечити рівні можливості для всіх працівників, сприяючи інклюзивному та стимулюючому робочому середовищі.
• Кар'єрний ріст: Наша корпоративна культура робить великий акцент на кар'єрному розвитку, пропонуючи чимало можливостей для зростання.
• Комплексні вигоди: На додаток до рівної оплати праці, ми пропонуємо комплексний пакет вигод, який пріоритетно орієнтований на загальне благополуччя наших консультантів.
• Гнучкі можливості: У GlobalLogic ми надаємо пріоритет збалансованості між роботою та особистим життям, пропонуючи гнучкі можливості, адаптовані до вашого способу життя.

Про компанію

GlobalLogic, компанія групи Hitachi, є надійним партнером з цифрової інженерії для найбільших та найбільш прогресивних компаній у світі. Починаючи з 2000 року, ми були на передньому краї цифрової революції, допомагаючи створювати деякі з найбільш інноваційних та широко використовуваних цифрових продуктів та досвіду. Сьогодні ми продовжуємо співпрацювати з клієнтами у трансформації бізнесу та редефініції галузей за допомогою інтелектуальних продуктів, платформ та послуг.