QA-инженер в ПАО Сбербанк Москва

QA-инженер для тестирования AI-продуктов и LLM-платформы: от функционального тестирования до оценки качества ответов моделей и устойчивости промптов.

Задачи:

• функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
• разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
• тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
• оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
• анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
• автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
• тестирование API-интеграций с LLM-провайдерами (OpenAI, Anthropic, OpenRouter и др.): лимиты, ретраи, обработка ошибок, стриминг
• ведение тестовой документации, баг-репортов, участие в приёмке фич
• взаимодействие с разработчиками и ML-инженерами при разборе дефектов

Требования:

• опыт в тестировании от 3 лет (ручное + понимание принципов автоматизации)
• практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
• понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
• уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
• понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
• python на базовом уровне для автотестирования: умение написать и поддерживать простые автотесты (pytest / requests), понимание структуры тестового проекта, работа с фикстурами и ассертами
• умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями

Условия:

• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы
• ежегодный пересмотр зарплаты
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для Junior позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка СберПрайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• pytest
• Postman
• curl
• REST
• JSON
• LLM
• ChatGPT
• Claude
• Copilot
• промпт-инжиниринг
• few-shot
• chain-of-thought
• API
• OpenAI
• Anthropic
• OpenRouter
• Playwright
• Selenium
• promptfoo
• LangSmith
• Ragas
• RAG
• векторный поиск