Аналитик данных в ПАО Сбербанк Москва

Аналитик данных в команду разработки AI Бизнес-помощника для предпринимателей. Разработка метрик, анализ ошибок, A/B-тестирование и улучшение качества мультиагентной LLM-системы.

Задачи:

• Разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge)
• Проводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества
• Планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты
• Генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов
• Искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению
• Формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы
• Готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации
• Работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты

Требования:

• Знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость)
• Опыт работы аналитиком данных - от 3 лет
• Умение писать сложные SQL запросы
• Работа на Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib)
• Опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов
• Понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG)

Условия:

• Комфортный современный офис рядом с м. Кутузовская
• Гибридный формат работы (2 дня в неделю - работаем из дома)
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Система обучения для профессионального и карьерного развития
• Расширенный полис ДМС с первого дня работы и страхование для семьи
• Программа ипотеки для сотрудников
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• SQL
• Python
• pandas
• numpy
• scipy
• matplotlib
• LLM
• RAG
• A/B-тестирование
• статистика