LLM/ML инженер в ПАО Сбербанк Москва

LLM/ML инженер — ключевой эксперт по интеграции больших языковых моделей в Java-систему продукта, анализирующего обратную связь корпоративных клиентов банка.

Задачи:

• Проектирование и разработка модулей обработки с использованием LLM
• Написание, версионирование и оптимизация промптов для корпоративных моделей
• Построение и поддержка eval-наборов: вопросы, эталоны, метрики качества
• Проведение A/B тестов промптов и параметров
• Разработка интеграции LLM через REST API: подготовка данных, формирование запросов, обработка ответа
• Контроль галлюцинаций, безопасности (guardrails), времени отклика и стоимости
• Настройка мониторинга и отслеживания работы LLM
• Передача экспертизы по LLM Java-разработчикам

Требования:

• Коммерческая разработка на Java от 3 лет
• Опыт интеграции LLM в промышленные условия: понимание возможностей и ограничений корпоративных моделей
• Понимание промпт-инжиниринга: структура промптов, примеры, подсказки в мышлении, защита от некорректных ответов
• Опыт построения eval-наборов и метрик качества LLM
• Опыт работы с API: REST API, JSON, ретраи, таймауты, сериализация
• Опыт работы с безопасностью API: хранение ключей, авторизация, работа с чувствительными данными
• Опыт работы с асинхронными задачами и очередями
• Умение самостоятельно декомпозировать задачи и принимать технические решения

Условия:

• Комфортный современный офис рядом с м. Кутузовский проспект
• График — офис
• Срочный трудовой договор до 01.08.27
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких

Навыки:

• Java
• LLM
• промпт-инжиниринг
• REST API
• JSON
• eval-наборы
• A/B тесты
• guardrails
• мониторинг LLM