Middle QA Engineer (AI/LLM Products) в ПАО Сбербанк Санкт-Петербург

QA-инженер в команду AI-продуктов Сбера. Отвечает за качество LLM-платформы: от функционального тестирования веб-интерфейсов и API до оценки качества ответов моделей и устойчивости промптов.

Задачи:

• Функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
• Разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
• Тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
• Оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
• Анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
• Автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
• Тестирование API-интеграций с LLM-провайдерами: лимиты, ретраи, обработка ошибок, стриминг
• Ведение тестовой документации, баг-репортов, участие в приёмке фич
• Взаимодействие с разработчиками и ML-инженерами при разборе дефектов

Требования:

• Высшее образование
• Опыт в тестировании от 3 лет (ручное + автоматизация)
• Практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — как с рабочим инструментом
• Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
• Уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
• Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
• Python на базовом уровне для автотестирования: умение писать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
• Умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями

Условия:

• Срочный трудовой договор до 01.07.2027
• Офисный формат работы на период испытательного срока, далее возможен гибридный формат
• Ежегодный пересмотр зарплаты
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Программа адаптации и помощь руководителя на старте (для Junior позиций)
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка СберПрайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• pytest
• requests
• Playwright
• Postman
• curl
• REST
• JSON
• LLM
• промпт-инжиниринг
• ChatGPT
• Claude
• Copilot
• promptfoo
• LangSmith
• Ragas
• RAG
• Selenium