Senior QA AI Engineer

Про посаду

Ми в devspiration шукаємо Senior QA AI Engineer для виконання LLM Eval на AI Chat Agents, які розробляються та використовуються для Managed Services portfolio та фінансових послуг однієї з компаній "Великої четвірки". Ця роль вимагає глибоких знань у AI/LLM testing, стратегіях оцінки та забезпеченні якості недетермінованих систем.

Обов'язки

• Визначення та розробка загальної стратегії тестування для AI agents та рішень на основі LLM
• Проектування, впровадження та підтримка оціночних рамок для недетермінованих AI систем
• Розробка підходів тестування якості відповідей, точності, послідовності, галюцинацій та крайніх випадків
• Створення та виконання ручних та автоматизованих тестових сценаріїв для AI agents
• Розробка бенчмаркінгів, наборів даних та критеріїв оцінки для вимірювання продуктивності AI систем
• Тісне співробітництво з AI інженерами для покращення поведінки моделей та якості продукту
• Аналіз виходів AI та виявлення ризиків якості, надійності та безпеки
• Виконання тестування API, бекенду та валідації даних
• Встановлення кращих практик QA для AI-застосунків
• Підтримка випусків у виробництво, моніторинг та діяльність з усунення несправностей

Вимоги

• 5+ років професійного досвіду в QA, включаючи досвід у визначенні стратегій тестування та керівництві ініціативами з якості
• Перевірені навички тестування AI/LLM-застосунків та недетермінованих систем обов'язково
• Глибоке розуміння AI agents, LLM, prompt engineering та методологій оцінки AI
• Сильні навички Python обов'язково
• Досвід у проектуванні автоматизованих тестових рішень та оціночних рамок
• Досвід у валідації відповідей, створених AI, виявленні галюцинацій та оцінці продуктивності моделей
• Сильні навички тестування API та валідації бекенду
• Високий рівень знань SQL
• Досвід роботи зі складними розподіленими додатками та багатоплатформними архітектурами
• Досвід роботи з Azure DevOps або подібними інструментами управління тестуванням
• Знання C# вважається важливою перевагою
• Англійська - Верхній проміжний рівень або вище, як письмово, так і усно

Ми пропонуємо

• Новий офіс у BC “Національний” + можливості дистанційної роботи
• 18 робочих днів відпустки, 10 днів лікарняного, вихідні за національними святами
• Компенсація за участь у технічних конференціях/заходах
• Безкоштовні уроки англійської мови
• Медичне страхування

Станьте частиною професійної та патріотичної команди, яка підтримує Збройні сили України та тих, хто в них потребує. Приєднуйтесь до нас, щоб створити значущий вплив. 💙