Аналитик-разработчик по оценке качества LLM в Яндекс Москва

Аналитик в команду оценки качества LLM в Яндекс R&D. Отвечает за контур замеров: запуск приёмок новых версий моделей, контроль разметки и анализ результатов для принятия решения о релизе.

Задачи:

• Организация приёмок новых версий моделей: подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки
• Контроль разметки: следить за статусом замеров, выявлять и устранять сбои, отслеживать недоставленные или потерянные данные
• Сбор и анализ результатов: сводить результаты всех аспектов в одну картину, считать значимость, отличать реальное изменение от шума, объяснять расхождения
• Подготовка заключения по каждому релизу с разбором сценариев и примерами, еженедельная сводка по всем замерам для ML-команд и продукта
• Развитие процесса: выступать заказчиком и первым пользователем автоматизации приёмки, приносить требования и обкатывать новые инструменты

Требования:

• Уверенное владение Python и SQL
• Знание математической статистики и теории вероятностей
• Опыт ведения многошаговых процессов с внешними зависимостями
• Умение формулировать обоснованное заключение по данным и защищать его перед заказчиками
• Самостоятельность и готовность браться за новые задачи без готового решения
• Интерес к развитию LLM и желание глубоко погрузиться в тему

Условия:

• Работа в команде, развивающей качество ключевой LLM-технологии Яндекса
• Взаимодействие с ML-инженерами качества, доменными экспертами и командой краудсорса
• Активная автоматизация рутинных процессов и рост роли в сторону анализа и методологии

Навыки:

• Python
• SQL
• математическая статистика
• теория вероятностей
• LLM
• NLP
• ML
• LLM-as-a-Judge
• голден-сеты