QA-инженер AI-агента в Альвента удалённо

QA-инженер для тестирования голосового AI-агента и разметки данных. Построение тестовой модели сценариев звонков, прогоны, анализ логов и подготовка датасетов для дообучения.

Задачи:

• Строить тестовую модель агента: сценарии звонков, состояния и переходы, граничные и нестандартные случаи
• Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы
• Прогонять сценарии вручную и текстовыми прогонами, проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
• Учитывать недетерминированность LLM: многократные прогоны, доля успешных прогонов, отделение стабильных багов от случайных
• Заводить баги с чёткой классификацией: распознавание речи, переход по сценарию, извлечение данных, галлюцинация, грамматика, тон и стиль, синтез речи
• Анализировать логи реальных звонков и превращать повторяющиеся проблемы в тест-кейсы
• Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики, пары «хороший / плохой ответ»
• Писать критерии оценки и инструкции для LLM-as-a-judge и выборочно проверять её оценки
• После релизов и дообучений проверять закрытие старых багов и отсутствие новых

Требования:

• Коммерческий опыт в тестировании от 2 лет
• Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
• Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт с TMS (TestRail, Qase, Allure TestOps или аналоги)
• Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
• Отличная грамотность в русском языке
• Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
• Уверенная работа с таблицами и JSON
• Плюсом: опыт тестирования чат-ботов, голосовых ассистентов или LLM-продуктов
• Плюсом: опыт разметки данных (Label Studio, Толока или аналоги)
• Плюсом: базовый Python, pytest
• Плюсом: понимание LLM, промптов и дообучения (SFT, DPO)
• Плюсом: опыт API-тестирования (Postman, Swagger)
• Плюсом: интерес к медицине или опыт работы с клиниками

Условия:

• Удалённый формат работы
• Полная занятость, график 5/2
• Зарплата от 80 000 до 120 000 ₽ на руки

Навыки:

• TestRail
• Qase
• Allure TestOps
• JSON
• Python
• pytest
• Postman
• Swagger
• Label Studio
• LLM
• SFT
• DPO