LLM Data Evaluation Engineer в ПАО Сбербанк Москва

Инженер по оценке качества LLM, RAG и агентов в команде AI/GenAI-трансформации госуправления. Отвечает за построение системы оценки качества моделей, регрессионное тестирование и пайплайны обработки документов.

Задачи:

• Строить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты
• Проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами
• Оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги
• Калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки
• Строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры
• Готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов

Требования:

• От 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами
• Опыт построения с нуля системы оценки качества LLM или RAG
• Знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)
• Опыт оценки агентных систем или многошаговых сценариев
• Прикладная статистика: доверительные интервалы, значимость различий, размер выборки
• Опыт обработки реальных документов в продакшене, включая OCR
• Python на уровне production-кода, уверенный SQL
• Оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги)

Условия:

• Гибридный формат работы (м. Кутузовская)
• Ежегодный пересмотр зарплаты, годовой бонус
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• LLM
• RAG
• Python
• SQL
• OCR
• Airflow
• Prefect
• Dagster
• DVC
• MLflow
• LLM-as-a-judge
• recall@k
• MRR
• nDCG
• Elasticsearch
• OpenSearch
• векторные базы данных
• NLP
• NER