AI Fullstack QA инженер в ООО СК "Сбербанк страхование жизни" Москва

QA-инженер в команду AI-агентов и ассистентов на LLM. Отвечает за построение системы качества AI-агентов: методологию тестирования, метрики качества и автоматизацию проверок в CI/CD.

Задачи:

• Проектирование и внедрение системы качества AI-агентов: методология тестирования LLM-агентов от юнит-тестов до end-to-end сценариев
• Внедрение метрик качества (Quality Gates) для релизов: релевантность, галлюцинации, безопасность, время отклика
• Построение процесса непрерывной оценки качества в рамках CI/CD
• Организация различных видов тестирования, проведение ПСИ и защита релизов перед выводом в прод
• Анализ логов, метрик инцидентов и пользовательских фидбеков для выявления системных паттернов ошибок
• Подготовка аналитических отчётов о качестве для стейкхолдеров
• Автоматизация проверки API, UI и бизнес-логики агентов
• Участие в код-ревью тестовой инфраструктуры
• Взаимодействие с ML-инженерами: работа с векторными БД и промптами
• Работа с требованиями и заказчиком, выявление юзер-кейсов и юзер-стори

Требования:

• Понимание специфики тестирования вероятностных систем (LLM/AI), знание подходов к оценке качества AI (метрики, LLM-as-a-Judge, A/B тесты качества)
• Умение выстраивать процессы с нуля или масштабировать существующие
• Опыт работы с Python; Java — желателен
• Уверенное владение SQL
• Опыт работы с Git, CI/CD (Jenkins/GitLab CI) и понимание принципов DevOps
• Работа с требованиями, заказчиком, выявление юзер-кейсов и юзер-стори
• Глубокое понимание подходов к тестированию AI-систем
• Инструментальное владение AI для анализа, генерации и автоматизации

Условия:

• Гибридный формат работы
• Льготные ипотечные условия кредитования
• Подписка Прайм с возможностью совместного использования на трёх близких
• ДМС с первого дня и скидки на страхование для близких
• Корпоративная пенсионная программа
• Детский отдых и подарки за счет Компании
• Обучение за счет Компании: онлайн курсы, библиотека, Корпоративный университет, тренинги, митапы

Навыки:

• Python
• Java
• SQL
• Git
• CI/CD
• Jenkins
• GitLab CI
• DevOps
• LLM
• LLM-as-a-Judge
• RAG
• векторные БД
• промпты