Тестировщик (LLM, ML) в Цифровые привычки Москва

Цифровые Привычки – аккредитованная IT-компания, резидент Сколково, топ-5 подрядчиков Сбера.

Мы предоставляем услуги IT-консалтинга, заказной разработки, аутсорсинга IT-процессов и развиваем собственные продукты и проекты партнеров.
Наша команда — это сплоченный коллектив высококвалифицированных профессионалов, способных эффективно решать самые сложные задачи. Нас более 250 человек, распределенных по разным проектам и городам.

Сейчас мы в поиске Тестировщика с опытом тестирования ML/LLM-систем на проект Сбера. Работа в офисе(Москва)

Обязанности:

• Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процесс
  Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы
• Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge
• Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений
  Тестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами
• Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код)

• Опыт QA от 3 лет, из них опыт тестирования ML/LLM-систем
  Уверенный SQL (у нас GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки

• Python для автоматизации тестов и обработки результатов
  Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам

  Будет плюсом
  Опыт работы с фреймворками оценки LLM (Ragas, DeepEval) или построения своих
  Опыт с LangChain/LangGraph
  Знание банковской предметной области, финансовой отчётности (P&L)
  Опыт тестирования data-продуктов: витрины, ETL, качество данных

• Первые 3 месяца работа в офисе, далее гибрид
• Трудоустройство Ип или ГПХ
• Уровень заработной платы обсуждаем на собеседовании(учитываем Ваш опыт и компетенции)