QA Engineer AI Platform в ООО "Страховой брокер Сбербанка" Москва

QA-инженер в команду корпоративной GenAI-платформы для создания AI-ассистентов и AI-агентов. Тестирование frontend, backend, REST API, а также качества ответов LLM, RAG и агентских сценариев.

Задачи:

• Функциональное тестирование frontend, backend и AI-платформы
• Подготовка тест-планов, тест-кейсов и чек-листов
• Тестирование REST API и интеграций с внутренними ИТ-системами
• Тестирование AI-ассистентов, агентских сценариев и работы с документами
• Проверка качества ответов LLM, RAG и MCP, Tool Calling
• Ручная и автоматизированная оценка качества AI с использованием LLM-as-a-Judge
• Регрессионное, интеграционное и приемо-сдаточное тестирование
• Анализ логов, метрик и трассировок (LangFuse, Grafana, Prometheus)
• Воспроизведение и локализация дефектов, взаимодействие с разработчиками при их устранении
• Участие в развитии процессов тестирования AI-платформы и повышении качества релизов

Требования:

• Опыт работы QA Engineer от 3 лет, ручное тестирование, аналитика в проектах, связанных с GenAI и LLM
• Опыт тестирования backend и frontend приложений
• Опыт тестирования REST API и интеграций
• Опыт написания тест-кейсов, чек-листов и тест-планов
• Опыт работы с SQL, аналитика данных, Python базовый уровень
• Опыт работы с LLM-приложениями, агентами, платформами-конструкторами на базе LLM + RAG
• Понимание процессов CI/CD и опыт участия в приемке релизов
• Опыт работы с Grafana, Prometheus или LangFuse

Условия:

• Гибридный формат работы (современный офис в Москве, м. Кутузовская)
• Льготные ипотечные условия кредитования
• Подписка Прайм с возможностью совместного использования на трёх близких
• ДМС с первого дня и скидки на страхование для близких
• Корпоративная пенсионная программа
• Детский отдых и подарки за счет Компании
• Обучение за счет Компании: онлайн курсы, неограниченный доступ к библиотеке и обучение на базе Корпоративного университета, тренинги, митапы и возможность получить новую квалификацию

Навыки:

• Python
• React
• FastAPI
• LangChain
• LangGraph
• LLM
• GigaChat B2B
• RAG
• MCP
• Tool Calling
• PostgreSQL
• Docker
• Kubernetes
• REST API
• LangFuse
• Grafana
• Prometheus
• OpenAPI
• SQL
• CI/CD