ML-аналитик в Т Банк Москва

Ищем ML-аналитика в продуктовую команду AI-ассистентов. Нужно оценивать качество LLM-продуктов и переводить его в продуктовые и бизнес-метрики.

Задачи:

• Создавать и развивать систему оценки Ассистента — от разработки корзин с запросами и метрик до анализа результатов и продвижения фич в продукт
• Организовывать разметку качества силами краудсорсеров и строить автоматизированные пайплайны на базе LLM-as-a-Judge
• Рассчитывать продуктовые метрики и выстраивать отчетность, понятную команде и бизнесу
• Искать инсайты в пользовательских диалогах, проектировать и дизайнить эксперименты, предлагать улучшения продукта на основе данных
• Собирать и готовить данные для алайнмента наших языковых моделей под задачи ассистентов
• Работать в тесной связке с продактами, NLP-командой, командами монетизации и партнерских интеграций

Требования:

• Опыт работы на стыке продуктовой аналитики и Data Science: с чат-ботами, поисковыми, рекомендательными системами, рекламными аукционами, генеративными технологиями
• Уверенное владение SQL и Python, в приоритете — Pandas
• Умение писать чистый и надежный аналитический код, который живет в продакшене
• Желание работать с текстовыми данными в LLM-продуктах
• Активное использование LLM в работе и повседневной жизни
• Способность видеть картину целиком, предлагать стратегии аналитического трека и влиять на продуктовые решения

Условия:

• Гибридный график и офис у метро «Белорусская»
• Возможность работы в аккредитованной ИТ-компании
• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких
• Страховка от несчастных случаев и болезней
• Рост по карьерному треку: курсы, менторство, матрица компетенций и регулярное ревью
• Сильное комьюнити: конференции, митапы, статьи
• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
• Компенсация затрат на спортивные абонементы, приложение Т-Спорта, командные тренировки
• Завтраки и обеды в Т-Кафе, ресторан и кофейни в офисе
• 3 дополнительных дня к отпуску
• Специальные тарифы на продукты Т-Банка и скидки от партнеров
• Достойная зарплата — обсудим на собеседовании

Навыки:

• SQL
• Python
• Pandas
• LLM
• NLP