QA Python специалист в Data World Москва

Мы команда Data World, входим в ГК Технос - представители амбициозной и технологичной сферы IT. Создаем ПО для ФинТеха. Топовые банки уже доверили нам самые сложные высокотехнологичные проекты.

На старте еще один интересный и высокотехнологичный проект для Сбера.

Проект:

Мы создаём платформу нового поколения на стыке электронной коммерции и финансовых технологий. В основе — мультиагентная система и автономные AI-агенты, которые берут на себя поиск, переговоры и заключение сделок. Мы переосмысливаем привычные пользовательские сценарии: от простого подбора до полностью автономного исполнения задач. Проект на ранней стадии: fast-track прототип до 15.08, проверка ключевых гипотез, подготовка к масштабированию до 15.11. Работа в кросс-функциональной команде с прямым контактом между разработчиками, аналитиками и владельцем продукта.

Задачи:

Чем предстоит заниматься
Вы — единственный специалист по качеству в команде с ответственностью от тест-стратегии до eval-ов ML-компонентов и нагрузочного тестирования. Ваша задача — чтобы на каждом демо платформа работала предсказуемо, а метрики компонентов были измеримы и прозрачны.
Тест-стратегия и процессы

• Разработать тест-стратегию для всего прототипа: что тестируем, на каком уровне, с какими инструментами, в какой момент.
• Выстроить процесс тестирования в команде: когда пишутся тесты, кто за что отвечает, как фиксируются баги.

Автотесты

• Написать автотесты API: валидация контрактов между всеми сервисами (TG-бот ↔ агент покупателя, агент покупателя ↔ A2A-сервер, A2A-сервер ↔ агент мерчанта, эскроу), проверка кодов ответов и таймаутов, иные.
• Написать интеграционные автотесты: сквозные цепочки — «задача → оффер → акцепт → эскроу → завершение», «задача → отмена → возврат».
• Поддерживать автотесты в актуальном состоянии при изменениях API.

Ручное тестирование

• Проводить прогон пользовательских сценариев по CJM перед каждым демо.
• Тестировать корнер-кейсы.

Eval-ы ML-компонентов

• Совместно с DS/ML-инженером (LLM) автоматизировать eval-ы интента: прогон набора из 50–100 запросов, сравнение с ожидаемым structured intent, расчёт точности и полноты.
• Совместно с DS/ML-инженером (LLM) и бизнес-аналитиком организовать eval-ы ризонинга.
• Совместно с DS/ML-инженером (ML) автоматизировать eval-ы ранжирования.
• Совместно с DS/ML-инженером (ML) автоматизировать eval-ы матчинга: расчёт precision, recall.

Нагрузочное тестирование

• Провести нагрузочное тестирование A2A-сервера и эскроу, других ключевых компонент системы.

Регресс и баг-трекинг

• Проводить регрессионное тестирование перед каждым демо: автоматизированный прогон + ручной чек-лист ключевых сценариев.
• Вести баг-трекинг: фиксировать, приоритизировать, отслеживать исправление.

Требования:

• Опыт: от 2 лет в тестировании, из них от 1 года в автоматизации.
• Python: уверенное владение для написания автотестов (pytest, requests/httpx).
• API-тестирование: опыт валидации REST API и/или JSON-RPC, понимание контрактного тестирования.
• Интеграционное тестирование: опыт написания тестов с поднятием окружения.
• Ручное тестирование: опыт тестирования сложных пользовательских сценариев, а не только изолированных функций.
• Самостоятельность: способность выстроить тестирование с нуля в новом проекте.

Опционные требования:

• Опыт тестирования ML/LLM-компонентов или участия в eval-циклах.
• Опыт нагрузочного тестирования.
• Опыт тестирования чат-ботов или диалоговых интерфейсов.
• Опыт в e-commerce, fintech или маркетплейсах.
• Опыт запуска MVP/пилотов с быстрым циклом обратной связи.

• Формат работы - удаленно
• Оформление в соответствии с ТК РФ (срочный трудовой договор до конца года)
• Гибкое начало рабочего дня.
• Входим в список IT лицензированных аккредитованных компаний
• Уровень дохода зависит от уровня кандидата, обсуждается индивидуально
• Предоставление техники
• ДМС+ стоматология
• Изучение английского языка
• Корпоративный спортзал
• Корпоративные активности: профессиональные митапы, квизы
• Прокачка скилов в экспертном IT пространстве