Middle QA Engineer (ML,LLM,RAG) в EvoAI Москва

Кто мы

EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов.

Основные обязанности:

• Анализировать требования и критерии приемки, выявлять пробелы и риски до начала разработки.

• Подготавливать test plan, чек-листы, тест-кейсы, наборы тестовых данных и acceptance scenarios для закреплённых проектов.

• Проводить функциональное, интеграционное, системное, API, UI, E2E, smoke, sanity, regression и re-testing.

• Проверять корректность данных в БД, анализировать логи и взаимодействие с внешними сервисами.

• Фиксировать дефекты с воспроизводимыми шагами, ожидаемым и фактическим результатом, severity, evidence и связью с требованием.

• Поддерживать регрессионные наборы и обеспечивать готовность проекта к внутренней и клиентской приемке.

• Выполнять AI/LLM/RAG/agent testing по методике Senior: запускать eval-наборы, анализировать ошибки и формировать новые тестовые сценарии.

• Автоматизировать повторяемые API/UI/регрессионные проверки и подключать их к CI/CD под техническим руководством Senior.

• Помогать проектным командам использовать QA-шаблоны, проводить self-testing и корректно оформлять результаты.

• Участвовать в обучающих сессиях, office hours и ревью тестовых артефактов.

Обязательные профессиональные компетенции:

База QA

• Практический опыт коммерческого тестирования от 3 лет.

• Знание техник тест-дизайна, жизненного цикла дефекта, уровней и видов тестирования.

• Умение самостоятельно декомпозировать требования в набор проверок и определять приоритет тестовых сценариев.

API, интеграции и данные

• Уверенное тестирование REST API через Postman, Swagger/OpenAPI или аналогичные инструменты.

• Работа с SQL на уровне выборок, проверок состояния данных и поиска причин несоответствий.

• Навык чтения логов и базовое понимание HTTP, JSON, авторизации, очередей и интеграционных взаимодействий.

Тестовая документация и процессы

• Умение писать понятные чек-листы, тест-кейсы, bug reports и test reports.

• Опыт работы с Jira/Confluence или аналогичными системами.

• Понимание DoR/DoD, acceptance criteria, smoke/regression suite и release checklist.

Автоматизация

• Базовые навыки программирования или скриптинга на Python, Java либо JavaScript/TypeScript.

• Опыт написания простых API- или UI-автотестов; готовность развиваться в автоматизации.

• Базовое понимание Git и CI/CD, способность запускать, анализировать и поддерживать автотесты.

AI QA

• Понимание особенностей LLM/RAG/agent testing и недетерминированного поведения моделей.

• Способность проводить разметку и анализ eval-наборов по критериям accuracy, relevance, completeness, groundedness и safety.

• Готовность проверять негативные, edge-case, fallback, tool calling и human handoff сценарии.

Коммуникация:

• Умение аргументированно обсуждать дефекты с разработчиками и PM без формального подхода «передать баг и ждать».

• Готовность обучать коллег базовым QA-практикам и поддерживать внедрение стандартов в проектах.

Желательный опыт:

• Опыт тестирования backend, микросервисов, AI-сервисов или проектов с большим количеством интеграций.

• Опыт с pytest, Playwright/Selenium, Newman, k6/JMeter или аналогичными инструментами.

• Навык работы с Docker и тестовыми окружениями.

• Опыт участия в клиентской приемке и сопровождении production-релизов.

Условия:

• Удаленный формат работы с 09.00 до 18.00 по мск.
• Оформление по ТК РФ.
• Участие в ML-/LLM-проектах федерального уровня.
• Сильная команда, в которой есть возможность для реализации творческих идей и профессионального роста.