Middle QA Engineer / AI & LLM в DBF удалённо

QA-инженер в команду AI-проекта на базе LLM и RAG. Проверка качества и стабильности AI-продукта — от API и backend-логики до качества ответов нейросети.

Задачи:

• Проводить функциональное, регрессионное, smoke, UAT и негативное тестирование
• Тестировать API через Postman / Insomnia
• Писать тест-кейсы, чек-листы и баг-репорты в Jira / Zephyr
• Работать с SQL, логами и трейсингом
• Тестировать AI-чатов и multi-turn сценарии
• Проверять edge cases, adversarial / jailbreak-промпты и safety-фильтры
• Оценивать качество ответов LLM: точность, релевантность, полноту и тональность
• Тестировать RAG-пайплайны и корректность источников в ответах
• Использовать AI-инструменты для автоматизации рутинных QA-задач и написания небольших скриптов

Требования:

• От 3 лет опыта в ручном тестировании
• Понимание основных видов тестирования
• Jira / Zephyr
• SDLC / STLC, Agile / Scrum
• Postman / Insomnia
• Базовый SQL
• Работа с логами и трейсингом
• Понимание принципов работы LLM: токены, temperature, top-p, context window
• Понимание prompt engineering
• Знание типичных проблем LLM: hallucinations, потеря контекста, nondeterminism, sensitivity к формулировкам
• Опыт или понимание тестирования multi-turn диалогов, edge cases и jailbreak-промптов
• Понимание оценки качества AI-ответов
• Базовое понимание RAG: чанкинг, эмбеддинги, vector search, reranking, retrieval
• Умение проверять корректность источников и цитирования в RAG-ответах
• Практический опыт с Claude Code или аналогичными AI coding CLI
• Базовое понимание ООП
• Способность читать код автотестов и писать простые вспомогательные скрипты на Python / Java / C#

Условия:

• Удалённая работа
• Full-time
• Тип оформления: ГПХ / ИП
• Зарплата обсуждается индивидуально
• Часовой пояс: GMT + 3

Навыки:

• Postman
• Insomnia
• Jira
• Zephyr
• SQL
• LLM
• RAG
• prompt engineering
• Claude Code
• Python
• Java
• C#