QA-инженер AI-агента (тестирование и разметка данных) в Альвента удалённо

QA-инженер для тестирования и разметки данных AI-агента голосовых звонков. Нужно строить тестовую модель агента, писать тест-кейсы, анализировать логи и размечать датасеты для дообучения.

Задачи:

• Строить тестовую модель агента: сценарии звонков, состояния и переходы, граничные и нестандартные случаи
• Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы
• Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны, проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
• Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов, отделять стабильные баги от случайных
• Заводить баги с чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные, галлюцинация, грамматика, тон и стиль, синтез речи
• Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы
• Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары «хороший / плохой ответ» для дообучения
• Писать критерии оценки и инструкции для автоматической проверки ответов через LLM (LLM-as-a-judge) и выборочно проверять её оценки
• После каждого релиза или дообучения проверять, что старые баги закрыты и не появились новые

Требования:

• Коммерческий опыт в тестировании от 2 лет
• Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
• Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт с TMS (TestRail, Qase, Allure TestOps или аналоги)
• Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
• Отличная грамотность в русском языке
• Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
• Уверенная работа с таблицами и JSON

Условия:

• Удалённый формат работы
• Полная занятость
• График 5/2
• Зарплата от 80 000 до 120 000 ₽ на руки

Навыки:

• TestRail
• Qase
• Allure TestOps
• JSON
• LLM
• Label Studio
• Толока
• Python
• pytest
• Postman
• Swagger