Про посаду

Приєднуйтесь до нашої команди на посаду Інженера з платформи ML Inference, щоб створити надійну інфраструктуру для обслуговування моделей, зосереджуючись на латентностi, пропускній здатності та видимості витрат.

Обов'язки

• Розробка шляхів обслуговування моделей, механізмів пакетної обробки, маршрутизації та поетапного впровадження.
• Аналіз використання GPU, тиску на пам'ять, хвостової латентності та відновлення після збоїв.
• Створення тестів навантаження, можливості спостереження та повторюваних процедур розгортання.

Вимоги

• Досвід роботи з експлуатацією бекенду або інфраструктури ML під робочим навантаженням.
• Знання Linux та мережевих основ, досвід роботи з Python, Go, Rust або C++.
• Здатність порівнювати підходи до обслуговування з використанням реалістичних робочих навантажень та обмежень витрат.

Корисні докази

• Інфраструктурний проект з виміряною продуктивністю та уроками експлуатації.
• Профілінг GPU, розподілена інференція та власні ядра є корисною практикою.

Умови праці

• Стартап-культура, цілеспрямована команда та дослідницький підхід.
• Можливість застосувати ваші інженерні навички до інструментів і систем для колег-інженерів та допомогти сформувати майбутнє AI.
• MacBook Pro останнього покоління.
• Внутрішній кластер GPU для навчання та експериментів.
• 20 робочих днів річної відпустки.
• Курси англійської мови, освітні заходи та конференції.
• Медичне страхування.

Інструменти та системи

NVIDIA Dynamo, vLLM, TensorRT-LLM, Kubernetes, OpenTelemetry.

Досвід роботи має більше значення, ніж знання всіх перерахованих інструментів.

Почніть розмову

Надішліть резюме або профіль і один приклад роботи, який допоможе нам зрозуміти ваш внесок.

Подайте заявку електронною поштою.

Вкажіть назву посади. Будь ласка, надайте лише ту роботу, на яку у вас є дозвіл на розголошення.

Як ми використовуємо дані заявки

Більше вакансій у лабораторії інженерії. Дослідіть лабораторію.

Підключіться

Лабораторія інженерії

Інженер з платформи ML Inference

Створіть інфраструктуру, яка надійно обслуговує моделі та робить латентність, пропускну здатність та експлуатаційні витрати видимими.

Місце роботи

Київ / віддалено

Досвід

Старший

Умови праці

Умови обговорюються