Senior AI Reliability Engineer

Про посаду

Старший інженер з надійності штучного інтелекту

Старший · Віддалено · Україна

Практика Operational Intelligence EPAM розробляє нову можливість під назвою AI Reliability Engineering (AIRE), яка застосовує принципи SRE та хмаро-нативні практики протягом усього життєвого циклу виробництва AI/ML та LLM систем. Коли клієнти переводять свої GenAI додатки та агентські системи з пілотної версії в продукцію, вони виявляють, що традиційний APM не забезпечує видимість латентностей токенів, вартості за запитом, семантичного зсуву або галюцинацій. Ця посада існує для того, щоб заповнити цей пробіл.

Ваша робота включатиме інструментування, моніторинг та зміцнення виробничих AI систем, встановлення цілей надійності сервісів для AI, а також створення прискорювачів та еталонних реалізацій, які практика може використовувати для різних облікових записів. Зауважте, що це інженерна посада, а не посада L1/L2 підтримки, і не вимагає цілодобової черговості.

Що ви отримаєте

• Нова дисципліна в EPAM, де ви формуєте підхід, а не слідуєте існуючому посібнику
• Зосередження на інженерній роботі без цілодобової черговості
• Спонсоровані програми сертифікації та навчання (Anthropic/Claude, Databricks, навчальні шляхи з AI та спостереженням за даними)
• Вплив на кілька клієнтів і прямий шлях до передпродажної підтримки та інженерії рішень

Обов'язки

• Додавання метрик AI до виробничих LLM, RAG та агентських додатків за допомогою OpenTelemetry та інструментів моніторингу APM для AI
• Розгортання розподіленого трасування по ланцюгах з кількома моделями, агентськими робочими процесами та потоками генерації з використанням пошуку для виявлення системних латентностей і точок збоїв
• Встановлення та відстеження цілей надійності сервісів для AI, включаючи час до першого токена (TTFT), пропускну здатність, частоту помилок і відмов, вартість за запитом, семантичний зсув, межі галюцинацій та контекстну точність
• Впровадження структурованого семантичного логування та моніторингу запитів/відповідей для підтримки аналізу якості
• Створення та підтримка циклів оцінювання для якості та безпеки виходу за допомогою "золотих наборів", методів LLM-як-судді та фреймворків типу Ragas/DeepEval, інтегруючи їх у CI/CD та середовища виконання
• Моніторинг витрат на токени в хмарі, лімітів швидкості API моделі та використання квот, одночасно сприяючи зусиллям з оптимізації витрат на AI
• Налаштування шлюзів AI для управління балансуванням навантаження API, відмовою та резервними моделями між кількома постачальниками LLM
• Розробка захисних огорож для фільтрації ін'єкцій промптів та порушення ув'язнення, дотримання виходу та обмежень упередження та безпеки
• Розробка робочих процесів виявлення, триажу, відновлення та управління проблемами для інцидентів з AI, включаючи автономних агентів AI для аналізу кореневих причин, щоб розбирати логи, генерувати гіпотези та корелювати зміни стану
• Включення паттернів відкату, канарочних випусків та захисних схем для випусків моделей, промптів та конфігурацій, зберігаючи відтворюваність за допомогою версіонування даних, коду, промптів та моделей
• Розробка прискорювачів практики, еталонних архітектур та внутрішніх навчальних матеріалів, а також внесення вкладу в передпродажну діяльність та оцінку клієнтів

Вимоги

• 4+ роки досвіду роботи в SRE, DevOps, платформі або інженерії спостереження, з практичним досвідом виробничих робочих процесів AI/ML або LLM
• Глибоке розуміння основ SRE, включаючи Golden Signals, визначення SLI/SLO, бюджети помилок та швидкість витрат, життєвий цикл інцидентів та основи ITIL
• Значні навички Python для створення інструментів інструментації, автоматизації та оцінювання
• Практичний досвід роботи з OpenTelemetry та принаймні однією платформою APM/спостереження, такою як New Relic, Datadog, Grafana LGTM stack, Splunk або Elastic
• Досвід роботи у виробництві з принаймні однією хмарною платформою (бажано Azure, AWS або GCP також прийнятні) та Kubernetes
• Глибоке розуміння архітектури додатків LLM, включаючи промпти, вбудовування та векторні сховища, RAG та інструменти оркестрації агентів, такі як LangChain/LangGraph або подібні
• Знання концепцій MLOps, включаючи життєвий цикл моделі (навчання проти висновку), кінцевих точках моделей, контейнеризації та паттернах розгортання/відкату
• Досвід роботи з Інфраструктурою як кодом за допомогою Terraform, а також інструментами CI/CD, такими як Azure DevOps, GitLab CI або GitHub Actions
• Володіння англійською мовою на рівні B2+, оскільки посада передбачає пряму взаємодію з клієнтами та вимагає чіткої технічної комунікації як у письмовій, так і в усній формі

Буде плюсом

• Знання специфічних інструментів спостереження та оцінювання для AI, таких як Traceloop/OpenLLMetry, Langfuse, Arize Phoenix, Ragas, DeepEval або MLflow
• Досвід роботи з масштабованою інференцією в розподілених середовищах, включаючи vLLM, KServe, Ray Serve, оркестрацію LLM у стилі Kubernetes та планування потужності GPU
• Знання практик безпеки AI, включаючи OWASP LLM Top 10, захист від ін'єкцій промптів та рамки захисних огорож, такі як NeMo Guardrails або Llama Guard
• Досвід роботи з Databricks (включаючи Mosaic AI/MLflow) або Azure AI Foundry
• Відповідні сертифікати, такі як Anthropic Claude, Azure AI Engineer, AWS ML Specialty або Databricks GenAI
• Досвід у FinOps для виробничих робочих процесів AI, особливо моделювання витрат на токени та GPU
• Досвід у надійності даних, що охоплює якість даних та цілі надійності каналів, оскільки надійність AI залежить від надійності даних
• Попередній досвід наставництва або керівництва командою

Ми пропонуємо

З нами ви можете:

• Працювати за гнучним графіком дистанційно або з будь-якого з наших комфортних офісів або коворкінгів в Україні
• Отримувати необхідне обладнання для виконання своїх робочих завдань
• Міняти проекти та технологічні стеки всередині EPAM
• Набувати досвіду в різних бізнес-доменах (Страхування, Електронна комерція, Охорона здоров'я, Фінанси, Подорожі, ЗМІ, Штучний інтелект та інше)
• Можливості переїзду для відповідних кандидатів, залежно від посади та вакансій в інших офісах EPAM
• Брати участь у волонтерських, благодійних програмах та спільнотах (як технічних, так і за інтересами)

Ми фокусуємось на вашому професійному зростанні:

• Ви можете планувати свій індивідуальний кар'єрний шлях разом зі своїм менеджером
• Отримувати регулярний зворотний зв'язок від колег
• Безкоштовно вдосконалювати англійську з сертифікованими викладачами (Клуби розмови, курси підготовки до співбесід з клієнтами тощо)
• Отримувати можливість проходити безкоштовне навчання та сертифікацію в хмарах AWS, GCP або Azure
• Користуватися внутрішньою програмою E-learn (понад 18 200 спеціалізованих програм навчання та наставництва)
• Отримувати доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсах
• Навчатися в Школі архітектури рішень EPAM з викладачами, які є практикуючими архітекторами
• Розвиватися як лідер, приєднуватися до школи управління доставкою, управління ресурсами, основ лідерства та інше
• Брати участь у внутрішніх спільнотах (понад 500 зустрічей, технічних дискусій, сесій мозкового штурму, онлайн-подій та конференцій щорічно)

Що ми пропонуємо:

• Відпустку та лікарняні (включаючи лікарняний лист без медичного сертифіката)
• Широкий спектр програм добровільного медичного страхування, що надають як медичне лікування, так і різноманітні превентивні опції (включаючи спортивні заходи)
• Медичне страхування для членів сім'ї за корпоративними тарифами
• Підтримка компанії під час значущих життєвих подій (народження дитини або усиновлення, одруження тощо)
• Підтримка психологічного комфорту: знижки на послуги фахівців з психічного здоров'я або коучів, тематичні тренінги
• Програма E-kids - безкоштовна програма навчання програмуванню для дітей співробітників EPAM