AI-инженер в ПАО Сбербанк Санкт-Петербург

Ищем AI-инженера для разработки и оценки LLM-агентов Бизнес-помощника для предпринимателей на платформе СберБизнес.

Задачи:

• разрабатывать систему метрик для оценки LLM-агентов и промптов
• проектировать офлайн- и онлайн‑эксперименты для проверки гипотез
• создавать синтетические датасеты для оценки
• внедрять фреймворки оценки (Ragas, LangSmith, DSPy, GEPA)
• переводить бизнес-критерии в измеримые метрики
• давать чёткий, аргументированный фидбек аналитикам и разработчикам

Требования:

• опыт с LLM: опыт коммерческой разработки или оценки решений на базе open-source моделей или OpenAI, Anthropic от 1.5–2 лет
• Prompt Engineering: глубокое понимание техник промптинга (Few-shot, Chain-of-Thought, ReAct) и умение управлять поведением моделей
• LLM Ops & Evaluation: практический опыт работы с фреймворками оценки качества генеративных систем и отдельных промптов (Ragas, LangSmith, DSPy, GEPA)
• NLP & Math: понимание классических метрик (BLEU, ROUGE, BERTScore, F1-score) и основ математической статистики для оценки достоверности тестов
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов

Условия:

• комфортный современный офис
• график – офис
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка Прайм с возможностью совместного использования на трёх близких

Навыки:

• LLM
• OpenAI
• Anthropic
• Prompt Engineering
• Few-shot
• Chain-of-Thought
• ReAct
• Ragas
• LangSmith
• DSPy
• GEPA
• BLEU
• ROUGE
• BERTScore
• F1-score
• GigaChat
• Kandinsky