QA (ML/LLM) в Цифровые привычки Москва

QA-инженер для тестирования ML/LLM-систем в проекте Сбера. Нужно выстроить систему оценки качества ответов LLM-агентов, автоматизировать тестирование и проводить сравнительное тестирование моделей.

Задачи:

• Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процесс
• Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы
• Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge
• Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений
• Тестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами
• Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код)

Требования:

• Опыт QA от 3 лет, из них опыт тестирования ML/LLM-систем
• Уверенный SQL (GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки
• Python для автоматизации тестов и обработки результатов
• Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам

Условия:

• Трудоустройство: ИП или ГПХ
• Зарплата: от 200 000 ₽ до 250 000 ₽
• Формат работы: первые 3 месяца офис, далее гибрид (офис в Москве)
• Локация: Москва

Навыки:

• SQL
• GreenPlum
• Python
• LLM
• ML
• Ragas
• DeepEval
• LangChain
• LangGraph