ML-аналитик / аналитик качества ИИ-помощника в ПАО Сбербанк Москва

ML-аналитик в команду ИИ-помощника Сбера. Задача — исследовать поведение ИИ, измерять качество моделей и агентов, строить eval-наборы и бенчмарки, связывать качество модели с качеством продукта.

Задачи:

• Исследовать, как помощник справляется с реальными задачами пользователей: где ошибается, чего ему не хватает и какие улучшения дадут эффект
• Создавать eval-наборы и бенчмарки для проверки новых моделей, промптов, скиллов и работы с инструментами
• Развивать SBS и LLM-as-judge: учить автоматическую оценку замечать существенные различия и проверять её на человеческой разметке
• Превращать найденные проблемы в гипотезы, данные для дообучения и понятные критерии приёмки
• Связывать качество модели с качеством продукта: выяснять, какие изменения помогают пользователю решить свою задачу
• Строить инструменты, которые позволяют команде быстрее исследовать качество и замечать регрессии

Требования:

• Интерес докопаться до причины ошибки и придумать эксперимент, который поможет её проверить
• Умение работать с неопределённостью: понимать ограничения данных, замечать слабые места в методе и объяснять, что следует из результата
• Сильная база в статистике и анализе данных
• Уверенная работа с Python и SQL, умение прочитать, проверить и исправить код, созданный ИИ
• Понимание принципов работы LLM и желание глубже разобраться в оценке моделей и агентов
• Опыт использования кодинговых агентов в работе
• Умение показать, как с помощью ИИ решали исследовательскую задачу, автоматизировали процесс или собрали собственный инструмент
• Готовность рассказать о своём подходе: что поручили ИИ, как проверили результат и что получилось

Условия:

• Комфортный современный офис рядом с м. Кутузовская
• Гибридный формат работы
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Система обучения для профессионального и карьерного развития
• Расширенный полис ДМС с первого дня работы и страхование для семьи
• Программа ипотеки для сотрудников
• Вознаграждение за рекомендацию друзей в команду Сбер

Навыки:

• Python
• SQL
• LLM
• LLM-as-judge
• SBS
• статистика
• анализ данных
• eval-наборы
• бенчмарки
• кодинговые агенты