Lead Data Analyst — оценка качества поиска, RAG и агентов в Сбер Москва

Lead Data Analyst в Сбербанк для оценки качества поиска, RAG и агентов. Задача — измерять качество и доказывать значимость улучшений статистическими методами.

Задачи:

• Строить метрики качества поиска и RAG
• Доказывать значимость улучшений через бутстрап и оценку дисперсии
• Калибровать LLM-судью против людей с учётом смещений

Навыки:

• RAG
• LLM
• бутстрап
• оценка дисперсии
• метрики качества поиска