ML-аналитик в команду AI-ассистентов в Т Банк Москва

Ищем ML-аналитика для оценки качества AI-ассистентов на базе LLM. Нужно создавать систему оценки, организовывать разметку и рассчитывать продуктовые метрики.

Задачи:

• Создавать и прокачивать систему оценки ассистента — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт
• Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as-a-Judge
• Рассчитывать продуктовые метрики и организовывать регулярную отчетность по продукту
• Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество нашего продукта
• Собирать данные для алаймента нашей языковой модели под задачи ассистентов

Требования:

• Опыт на границе продуктовой аналитики и Data Science: чат-боты, рекламные аукционы, поисковые системы, генеративные технологии
• Владеете SQL и Python на уверенном уровне, в приоритете Pandas
• Умеете писать хороший аналитический продакшен-код
• Хотите работать с текстовыми данными в LLM-продуктах
• Пользуетесь LLM в работе и жизни

Условия:

• Гибридный график и офис у метро «Белорусская»
• Возможность работы в аккредитованной ИТ-компании
• ДМС со стоматологией, страховка от несчастных случаев
• Карьерный трек с курсами, менторством и ревью
• Сильное комьюнити, конференции, митапы
• Онлайн-консультации с психологами, юристами, финансистами
• Компенсация спортивных абонементов, Т-Спорт
• Завтраки и обеды в Т-Кафе, ресторан и кофейни в офисе
• 3 дополнительных дня к отпуску
• Специальные тарифы на продукты Т-Банка и скидки от партнеров
• Достойная зарплата — обсудим на собеседовании

Навыки:

• SQL
• Python
• Pandas
• LLM
• ML
• Data Science