QA Auto (Команда разработки AI-Консультанта) в Сбер. IT Москва

Мы разрабатываем AI-агента который помогает пользователям подобрать и оформить пособия и льготы согласно своей жизненной ситуации и возможностей предусмотренных законодательством.

Обязанности

• проверка точности и релевантности ответов: Придумывать и проводить сценарии диалога, имитирующие самые разные жизненные ситуации пользователей (молодые родители, пенсионеры, люди с инвалидностью и т.д.)
• тестирование промтов и логики диалога: Проверять, как ассистент реагирует на уточняющие вопросы, неправильные или эмоционально окрашенные реплики, меняет ли тему и сохраняет контекст разговора
• поиск кейсов, где модель «галлюцинирует»: Выявлять случаи, когда AI выдает неправдивую или выдуманную информацию о льготах
• тестирование интеграций: Проверять работу всего контура системы: от интерфейса чата до корректности подключения базы знаний о льготах
• работа с требованиями: Участвовать в составлении и проверке сценариев диалога (user journeys), предлагать улучшения с точки зрения пользователя
• тесное взаимодействие с разработчиками и продукт-менеджерами для улучшения продукта
• разработка заглушек и скриптов автоматизированного тестирования
• контроль за соблюдением требований релизной политики и ведение необходимых артефактов тестирования
• определение приоритетных для автоматизации сценариев и их адаптации под автоматизацию.

Требования

• опыт в сфере тестирования не менее 2-х лет
• опыт разработки автотестов от 1 года
• опыт написания prompt-ов для LLM (в т.ч. и для целей тестирования)
• базовое понимание, как работают LLM (большие языковые модели типа ChatGPT) и что такое «галлюцинации»
• навыки коммуникации: Умение четко и ясно описать проблему так, чтобы ее поняли и разработчик, и дизайнер
• опыт использования инструментов API тестирования
• опыт работы и анализа XML\HTML\XSD\JSON схема\кода
• опыт использования в работе протоколов и инструментов REST/Apache Kafka.
• понимание жизненного цикла разработки ПО
• знание языка Java/Python на уровне Middle (коллекции (структуры данных)); исключения; ООП; умение использовать функциональные интерфейсы)
• знание основных паттернов проектирования программного обеспечения и умение применять их на практике.

Условия

• офис рядом с м. Кутузовская
• стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты
• корпоративный спортзал и зоны отдыха
• уникальная система обучения Сбера для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС и льготное страхование семьи
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа