Senior Automation Test Engineer – AI Systems (f/m/x)

About the Position

Ми шукаємо старшого QA інженера, щоб приєднатися до нашої команди та внести свій внесок у створення операційної системи на основі AI для маркетингу в охороні здоров'я. У цій ролі ви будете виходити за межі традиційного тестування від початку до кінця, відповідаючи за якість, оцінку та моніторинг складних AI систем. Ви будете працювати над реальними продуктами виробничого класу, які створюють монетизовану цінність, забезпечуючи стабільність нашої архітектури повного стеку, одночасно проектуючи та масштабируючи оцінювальні конвеєри AI та системи моніторингу зміщення ML. Якщо ви захоплені розробкою надійних фреймворків тестування та оцінки для сучасних систем, що працюють на основі AI та ML, ми хочемо почути від вас.

Responsibilities

• Проектування, створення та підтримка оцінювальних фреймворків для великих мовних моделей (LLMs) та кастомних агентних систем
• Розробка автоматизованих механізмів оцінювання, тверджень та тестових наборів для вимірювання точності агентів, надійності міркувань, частоти галюцинацій та коректності використання інструментів
• Моделювання складних, багатоступеневих робочих процесів агентів для виявлення крайніх випадків в автономному прийнятті рішень
• Співпраця з інженерними командами для налаштування надійних фреймворків моніторингу для зміщення даних, зміщення концепцій та деградації продуктивності моделей у виробництві
• Впровадження систем телеметрії та сповіщення для відстеження затримок, використання токенів, ефективності витрат та якості виходу з часом
• Володіння стратегією тестування від початку до кінця по всьому нашому стеку, забезпечуючи безперебійну інтеграцію між фронтендом Angular, бекенд-сервісами Node.js та мікросервісами AI на Python
• Написання чистих, підтримуваних та масштабованих автоматизованих тестових скриптів на Python та JavaScript/TypeScript
• Виконання ретельного тестування API, інтеграційного тестування та тестування продуктивності/навантаження для мікросервісів з високою пропускною здатністю
• Інтеграція оцінювання AI та тестових систем у наші CI/CD конвеєри для забезпечення безперервного контролю якості перед розгортанням
• Визначення та відстеження ключових показників якості (KPI) для надійності програмного забезпечення та поведінки моделей AI

Requirements

• Мінімум 5 років досвіду в тестуванні програмного забезпечення або інженерії якості, з принаймні 2 роками, зосередженими на тестуванні або оцінці AI/ML додатків, робочих процесів LLM або агентських систем
• Знання Python для написання скриптів тестування бекенду/AI та знайомство з JavaScript/TypeScript для тестування Node.js та Angular
• Досвід роботи з оцінювальними фреймворками, такими як LangSmith, Langfuse, EvidentlyAI, Ragas або MLflow, та здатність вибирати відповідні метрики для класифікаційних або генераційних задач
• Знання концепцій моніторингу зміщення ML, відстеження метрик та інструментів спостереження, таких як Datadog або Grafana
• Сильні навички системного проектування та здатність будувати тестову та оцінювальну інфраструктуру виробничого класу з нуля
• Високий рівень англійської мови

Nice to Have

• Розуміння патернів агентського дизайну та їх розкладання на тестові одиниці
• Досвід роботи в умовах регуляторних вимог охорони здоров'я

We Offer

• Робота в дистанційному режимі
• Місце роботи: Польща (або віддалено)

About the Company

Ми забезпечуємо, що всі рішення щодо найму приймаються виключно на основі кваліфікацій та компетентності. Ми прагнемо до рівного та справедливого ставлення до всіх, незалежно від законно захищених характеристик. У Sii ми сприяємо створенню різноманітного та інклюзивного робочого середовища, повністю відповідно до чинних законів проти дискримінації.