Про посаду

Перетворюйте якість агентів на відтворювані докази в умовах багаторазових запусків, зловмисних входів та зміни моделей.

Обов'язки

• Створювати набори завдань, правила оцінювання та відтворювані середовища виконання.
• Досліджувати неправильні виклики інструментів, витік даних, ненадійне відновлення та непослідовні результати.
• Будувати перевірки регресії, які пов'язують поведінку моделі з рішеннями про випуск.

Вимоги

• Досвід тестування складного програмного забезпечення або оцінювання систем машинного навчання.
• Здатність аналізувати шумні результати та розрізняти збої моделі, даних та середовища.
• Значні навички роботи з Python та чітке письмове оформлення експериментальних висновків.

Корисні докази

• Набір оцінок або тестів, який ви розробили, та збій, який він виявив.
• Досвід у тестуванні безпеки, статистиці або оцінці агентів є корисним.

Умови роботи

• Культура стартапу, цілеспрямована команда та дослідницький підхід.
• Можливість застосувати ваші інженерні навички до інструментів та систем для колег-інженерів та допомогти сформувати майбутнє штучного інтелекту.
• MacBook Pro останнього покоління.
• Внутрішній кластер GPU для навчання та експериментів.
• 20 робочих днів річної відпустки.
• Курси англійської мови, освітні заходи та конференції.
• Медичне страхування.

Інструменти та системи

• Python
• Inspect
• AIBraintrust
• pytest
• Docker

Досвід роботи важливіший за знання всіх перерахованих інструментів.

Почніть розмову

Надішліть резюме або профіль та один твір, який допоможе нам зрозуміти ваш внесок.

Місце роботи: Київ / віддалено

Рівень досвіду: Середній / Старший

Умови роботи: Договірність

Подайте заявку електронною поштою. Будь ласка, надайте лише ту роботу, на яку у вас є дозвіл на розголошення.

Як ми використовуємо дані заявки

Більше вакансій у Agentic Lab. Досліджуйте лабораторію.

Спілкуйтеся з нами в Agentic Lab.

Інженер з оцінювання агентів