Senior Data Engineer

Про посаду

N-iX шукає Senior Data Engineer, щоб підтримувати команду Data Licensing нашого клієнта, яка розробляє навчальні датасети для передових лабораторій штучного інтелекту. Ви будете відповідати за впровадження та збагачення нового мультимедійного контенту. Розширюйте масштабовані подійно-орієнтовані та пакетні системи обробки, які створюють надійні метадані для кураторства та додатків для клієнтів.

Наш клієнт є провідним світовим постачальником високоякісних ліцензованих зображень, відео та музики. Наш клієнт надихає графічних дизайнерів, креативних директорів, відеоредакторів, кінорежисерів, веб-розробників та інших креативних професіоналів, надаючи різноманітний контент для бізнесів, маркетингових агентств та медіаорганізацій по всьому світу. Творці контенту вносять свій вклад у нашого клієнта, де кінцевий користувач купує та використовує його в різноманітних креативних особистих та бізнесових проектах. Це двосторонній ринок, який надає можливості світовим оповідачам.

Обов'язки

• Співпраця з головним інженером, старшими технічними лідерами та платформними командами для впровадження та розвитку архітектурного напрямку для систем обробки метаданих; самостійно відповідати за дизайн та доставку призначених компонентів.
• Оцінка та розвиток оркестрації для робочих процесів збагачення та заповнення, або шляхом розширення існуючих можливостей інтеграції, або інтеграцією з новими хмарними сервісами, зберігаючи послідовність контрактів та обробку життєвого циклу.
• Розвиток спільних фреймворків, щоб дата-науковці могли пакувати, тестувати, перевіряти та запускати виробничі робочі процеси збагачення з мінімальною підтримкою інженерії даних.
• Визначення та підтримання контрактів на метадані, лінідж, перевірки та контролю якості.
• Внесення та застосування спільних інженерних стандартів, а також надання технічного керівництва через огляди дизайну, документацію та співпрацю з командами інженерії даних та дата-науки.
• Оцінка та уточнення вартості, потужності та часу виконання робочих процесів збагачення та заповнення.
• Співпраця з платформними командами, що відповідають за експлуатацію базової хмарної інфраструктури.
• Відповідальність за часово чутливі доставки для клієнтів та партнерів через випуск продукції.

Вимоги

• 6+ років досвіду в інженерії даних, інженерії серверного програмного забезпечення або розподілених системах, включаючи практичне володіння масштабними виробничими робочими процесами даних.
• Доведений досвід проектування та експлуатації масштабних систем інтеграції або розподілених обробок даних.
• Значний досвід роботи з програмуванням на Python та розподіленою обробкою.
• Практичні знання високообсягових пакетних та подійно-орієнтованих архітектур, включаючи ідемпотентність, повторне відтворення, зворотний тиск, повтори та відновлення після збоїв.
• Досвід впровадження робочих процесів дата-науки або машинного навчання з прототипу до виробництва за допомогою гнучких фреймворків та інженерних захисних систем.
• Досвід роботи з AWS та GCP, з можливістю проектування робочих процесів, що охоплюють кілька хмарних середовищ.
• Досвід управління змінними контрактами на дані, схемами, лінідж та очікуваннями щодо якості даних.
• Здатність оцінювати розподілені робочі процеси та перетворювати результати в достовірні прогнози щодо потужності, часу виконання та витрат на хмару.
• Досвід у встановленні інженерних стандартів, огляді дизайнів систем та наставництві інженерів або дата-науковців.
• Історія доставки критичних, часово чутливих систем у виробництво.
• Рівень англійської - верхньо-середній

Буде плюсом

• Контейнеризовані CPU/GPU пакетні та ML робочі процеси за допомогою керованих обчислювальних сервісів, таких як SageMaker, AWS Batch, ECS, Cloud Batch або GKE/EKS.
• Подійно-орієнтована оркестрація та обмін повідомленнями за допомогою сервісів, таких як Step Functions, Lambda, EventBridge, Kinesis, Workflows або Pub/Sub.
• Snowflake, ClickHouse або Apache Iceberg.
• Обробка зображень, відео чи аудіо у виробничому масштабі

Ми пропонуємо

• Гнучний робочий формат - віддалено, в офісі або гнучко
• Конкурентоспроможна зарплата та хороший компенсаційний пакет
• Індивідуальний кар'єрний ріст
• Інструменти для професійного розвитку (програма наставництва, технічні лекції та тренінги, центри досконалості тощо)
• Активні технічні спільноти з регулярним обміном знаннями
• Компенсація за освіту
• Пам'ятні подарунки до ювілеїв
• Корпоративні заходи та командоутворення
• Інші місцеві переваги

не застосовується до фрілансерів