Senior AI Machine Learning Engineer (Agentic Systems & LLM Evaluation)

Про посаду

Ми шукаємо висококваліфікованого Senior AI Machine Learning Engineer, щоб керувати розробкою інтелектуальних агентських систем та забезпечувати оцінку великих мовних моделей (LLMs). На цій посаді ви будете співпрацювати із зацікавленими сторонами для розробки та впровадження потужних агентів, створення надійних оціночних рамок та сприяти підвищенню ефективності та надійності AI систем.

Обов'язки

• Створення агентських систем, адаптованих до різних персоналій Життєвого циклу розробки програмного забезпечення (SDLC), перетворення вимог у дієві реалізації
• Тісне партнерство з міжфункціональними командами для розуміння робочих процесів та забезпечення відповідності потребам зацікавлених сторін
• Розробка та впровадження надійних тестових випадків для оцінки LLMs, використовуючи LLMs як суддів та детерміновані методології
• Оцінка ефективності моделей та забезпечення надійності за допомогою інструментів, таких як LangSmith, LangFuse або MLFlow
• Розробка та налаштування фреймворк для підготовки запитів, щоб адаптувати LLMs до різноманітних вимог агентів
• Використання досвіду програмування на Python та AI/ML фреймворк для підвищення можливостей агентських систем
• Моніторинг, налагодження та оптимізація ефективності AI систем за допомогою передових методів тестування та автоматизації
• Використання сучасних SDK, таких як LangGraph або аналогічних фреймворк для ефективного створення інтелектуальних робочих процесів
• Заохочення постійного вдосконалення шляхом включення зворотного зв'язку, результатів тестування та інсайтів у майбутні ітерації
• Виступати як лідер думок щодо стандартів тестування AI, управління та кращих практик у розробці агентських систем

Вимоги

• 3+ роки досвіду в інженерії AI, з акцентом на LLMs та агентських системах
• Знання сучасних стандартів та практик тестування, застосованих до агентських систем
• Сильні навички програмування та розробки на Python, з використанням AI/ML фреймворк та бібліотек
• Знання інструментів оцінки та моніторингу, таких як LangSmith, LangFuse або MLFlow
• Компетентність у використанні SDK, таких як LangGraph або аналогічних фреймворк для розробки агентських систем
• Розуміння концепцій LLM, включаючи підготовку запитів та методології налаштування
• Знання тестових фреймворк та інструментів автоматизації для перевірки AI систем
• Аналіз та навички вирішення проблем, з акцентом на забезпечення надійних та ефективних рішень
• Вміння спілкуватися та співпрацювати, забезпечуючи успішну роботу команди в різних ролях
• Здатність працювати самостійно, забезпечуючи високу якість AI рішень у динамічному середовищі
• Відмінне володіння англійською мовою (рівень B2+)

Буде плюсом

• Досвід написання агентських систем за допомогою SDK, таких як LangGraph або аналогічних технологій
• Знання інструментів оцінки, таких як LangSmith, LangFuse або MLFlow
• Розуміння управління AI, безпеки та етичних аспектів у агентських системах
• Демонстрація корпоративних рішень AI з багатьма інтеграціями та робочими процесами

Ми пропонуємо

• Можливість працювати дистанційно з України
• Захоплююча роль у розробці передових AI систем

Про компанію

EPAM Systems є глобальною компанією з інженерії програмного забезпечення та розробки продуктів, що надає бізнесам по всьому світу інноваційні технологічні рішення.