DS/ ML-инженер / исследователь (LLM-агенты, GigaChat) в Сбер. Data Science Москва

Мы — команда СберKids, которая разрабатывает агента СберКот на базе LLM GigaChat. Направления работы: разработка агентов, LoRA-адаптеры, оценка качества LLM и агентов, RAG, разметка и создание датасетов, LLM-as-a-judge. Мы работаем на стыке исследований и продакшена: от гипотезы и эксперимента до надёжного решения.

Обязанности

Разработка агентов на LLM

• Проектировать логику рассуждений и поведения ИИ-агентов на базе GigaChat: планирование, рассуждение, управление памятью и контекстом.
• Настраивать вызов внешних инструментов (Tool Calling, API, SQL-скрипты) под задачи домена.
• RAG-системы
• Проектировать архитектуру контекстного поиска ответов по сложным документам и структурированным данным, оценивать качество ретривала и генерации.
• Адаптация моделей
• Дообучать и адаптировать модели под задачи команды: Fine-tuning, LoRA/QLoRA, подготовка данных для обучения.
• Eval и качество
• Разрабатывать и внедрять методы оценки LLM и агентов: метрики, бенчмарки, LLM-as-a-judge, Guardrails.
• Анализировать корзину запросов и результаты ответов, выявлять ошибки и галлюцинации, согласовывать метрики с бизнесом и защищать подходы на понятном языке.
• Работа с разметкой и данными
• Создавать датасеты для обучения, оценки и разметки, готовить инструкции для разметчиков.
• Работать с разметчиками: контролировать качество, интерпретировать результаты, итеративно улучшать инструкции.

Требования

• Опыт работы с LLM: запуск языковых моделей в продакшн.
• Уверенное владение Python: PyTorch, Hugging Face, опыт с LangChain/LlamaIndex.
• Понимание специфики LLM: Prompt Engineering, оценка качества генерации и Eval, базовое понимание оптимизации инференса (vLLM и аналоги).
• Аналитическое и критическое мышление: разбирать сложные задачи на составляющие и находить неочевидные решения.
• Умение работать с данными: SQL для подготовки датасетов, базовое владение табличными данными (pandas, NumPy).

Условия

• Полное соблюдение ТК РФ, льготные условия по программам страхования, кредитования для сотрудников Банка;)
• График 5/2, офис на м. Кутузовская, гибрид;
• Достойный уровень вознаграждения (оклад + внушительная годовая премия);
• ДМС с первого дня работы и льготная мед. страховка для близких родственников;
• Социальная поддержка сотрудников;
• Возможность стать частью команды, реализующей программы цифровой трансформации банка - на основе передового опыта и инновационных идей;
• Широкие возможности для профессионального развития: корпоративный университет и множество онлайн-программ обучения. Корпоративное обучение за счет компании;
• Бесплатная подписка СберПрайм с возможностью подключения 3 родственников, многочисленные скидки и бонусы от партнеров: СберМаркет, МегаМаркет, Самокат, Еаптека и др.;
• Корпоративная пенсионная программа