Аналитик данных в ПАО Сбербанк Москва

Аналитик данных в команду разработки AI Бизнес-помощника в СберБизнесе. Нужно оценивать качество ответов агентов, проводить A/B-тесты, анализировать ошибки и генерировать синтетические датасеты для улучшения LLM-системы.

Задачи:

• разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge)
• проводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества
• планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты
• генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов
• искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению
• формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы
• готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации
• работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты

Требования:

• знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость)
• опыт работы аналитиком данных - от 3 лет
• умение писать сложные SQL запросы
• работа на Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib)
• опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов
• понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG)

Условия:

• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы (2 дня в неделю - работаем из дома)
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• система обучения для профессионального и карьерного развития
• расширенный полис ДМС с первого дня работы и страхование для семьи
• программа ипотеки для сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• SQL
• Python
• pandas
• numpy
• scipy
• matplotlib
• A/B-тесты
• LLM
• RAG
• мультиагентные системы