Стажер в Центр практического ИИ в ПАО Сбербанк Москва

Стажёр в команду, которая строит и дообучает линейку LLM под банковские сценарии. Задачи включают обучение моделей на GPU-кластерах, подготовку датасетов, анализ экспериментов и оптимизацию инференса.

Задачи:

• Обучать LLM на GPU-кластерах с H100
• Собирать, очищать и готовить датасеты для pre-training и fine-tuning
• Анализировать результаты экспериментов и улучшать качество моделей
• Запускать существующие и создавать новые бенчмарки
• Оптимизировать инференс, проводить нагрузочное тестирование и внедрять обученные модели

Требования:

• Студент последних курсов бакалавриата или магистратуры или аспирантуры технического ВУЗа
• Обучение на очном отделении
• Глубокое понимание теоретических и практических аспектов LLM: архитектура, токенизация, построение пайплайнов, batching, mixed precision, распределенное обучение
• Подтвержденный практический опыт обучения LLM (pre-training, fine-tuning, alignment) в учебных проектах, статьях или курсах
• Опыт разработки на Python, опыт работы в Linux, знание стандартных bash команд
• Внимательность к деталям

Условия:

• Оплачиваемая стажировка
• Длительность стажировки: 3 мес., 40 часов в неделю с 9:00 до 18:00
• Гибридный формат работы с посещением офиса не менее 3х дней в неделю
• Комфортный современный офис по адресу: г. Москва, Кутузовский пр.32

Навыки:

• Python
• Linux
• bash
• LLM
• GPU
• H100
• pre-training
• fine-tuning
• alignment
• batching
• mixed precision
• Weights & Biases
• MLflow
• Langfuse