QA инженер в ПАО Сбербанк Москва

QA-инженер в команду, создающую ИИ-решение для анализа реализации стратегии Сбера. Тестирование backend-сервисов, UI, RAG и агентных сценариев, оценка качества генеративных моделей.

Задачи:

• Функциональное тестирование backend-сервисов и UI, написание и поддержка тестовой документации (чек-листы, тест-кейсы, баг-репорты, инструкции)
• Подготовка тестовых данных для тестирования и ПСИ, участие в релизах, регрессионное тестирование и сценарии приёмо-сдаточных испытаний
• Работа с обращениями пользователей, анализ информации в БД и логах сервисов
• Построение и поддержка eval-набора (golden set) и регрессионный контроль качества при смене моделей, промптов и версий приложения
• Автоматизированная оценка качества генерации (LLM-as-judge, метрики типа Ragas) при релизах
• Тестирование RAG: качество поиска релевантного контекста, корректность источников, поведение при неполной или противоречивой информации
• Тестирование агентных сценариев: многошаговые цепочки, вызовы инструментов (MCP), повторные попытки, эскалация к человеку
• Участие в мониторинге качества в проде и настройке обратной связи от пользователей

Требования:

• Опыт работы в тестировании от 3 лет
• Понимание HTTP, кодов ответов, авторизации
• Опыт тестирования API (REST/JSON) для проверки интеграций и бизнес-логики, микросервисного взаимодействия
• Опыт тестирования запросов с помощью Postman/Insomnia/Swagger
• Опыт работы с форматами данных: JSON, YAML, XML, HTML
• Знание SQL, умение написать SQL-запрос средней сложности
• Базовый опыт работы с системами сбора и визуализации метрик, работа с логами (Prometheus, Grafana) и понимание CI/CD и участия QA в пайплайнах доставки
• Понимание принципов работы LLM и их ограничений: недетерминированность вывода, галлюцинации, методы оценки качества генеративных моделей, опыт построения eval-наборов (golden set) и оценки качества LLM; желательно — LLM-as-judge, Ragas

Условия:

• Гибридный формат работы из офиса в г. Москва
• Годовой бонус и ежегодный пересмотр
• ДМС с первого дня, стоматология и льготное страхование для семьи
• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• Офис на Ленинском проспекте с зонами отдыха и спортзалом
• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм на трёх близких, скидки от партнёров и сервисов группы компаний

Навыки:

• REST
• JSON
• YAML
• XML
• HTML
• SQL
• Postman
• Insomnia
• Swagger
• Prometheus
• Grafana
• CI/CD
• LLM
• RAG
• MCP
• LLM-as-judge
• Ragas
• Python
• pytest
• Kafka
• Qdrant