Research Engineer в ПАО Сбербанк Москва

Research Engineer в Центр робототехники Сбера. Предобучение и дообучение Vision-Language-Action и World Action Models для понимания сцен, предсказания динамики мира и генерации действий роботов.

Задачи:

• Разрабатывать и обучать VLA/WAM-модели для понимания сцен и инструкций, предсказания динамики окружающего мира и генерации действий робота
• Развивать методы предобучения на разнородных данных: изображениях, видео, текстах, демонстрациях и траекториях роботов
• Дообучать и адаптировать модели под новые задачи, объекты, условия и робототехнические платформы
• Исследовать архитектуры, представления действий и функции потерь, включая transformer-, autoregressive- и diffusion/flow matching-подходы
• Формировать смеси обучающих данных, выбирать стратегии семплирования и исследовать влияние качества, объёма и состава данных на способности моделей
• Разрабатывать и оптимизировать пайплайны распределённого обучения на GPU-кластерах: повышать стабильность обучения, эффективность вычислений и использования памяти
• Проводить воспроизводимые эксперименты и абляционные исследования, анализировать динамику обучения и причины ошибок
• Разрабатывать методики оценки моделей: измерять качество предсказаний и действий, успешность выполнения задач, устойчивость и перенос на новые условия
• Совместно с командами робототехники и инфраструктуры интегрировать модели в контур управления и проверять их на реальных роботах
• Формировать рекомендации по сбору дополнительных данных и улучшению обучающих выборок на основе результатов экспериментов и испытаний

Требования:

• Опыт разработки и обучения современных DL-моделей в одной или нескольких областях: computer vision, video understanding/generation, multimodal learning, LLM/VLM или robot learning
• Уверенное владение Python и PyTorch
• Хорошее понимание современных нейросетевых архитектур, прежде всего transformers, методов оптимизации и принципов обучения на последовательностях
• Практический опыт pretraining или finetuning моделей: подготовка данных, выбор функций потерь, настройка обучения, оценка качества и анализ ошибок
• Опыт работы с большими датасетами и эффективными пайплайнами загрузки и обработки данных
• Опыт обучения моделей на нескольких GPU и понимание принципов распределённого обучения
• Умение ставить исследовательские гипотезы, планировать эксперименты и делать обоснованные выводы по их результатам
• Умение писать поддерживаемый и воспроизводимый код, работать с Git и инструментами отслеживания экспериментов
• Способность читать научные статьи и реализовывать перспективные подходы
• Самостоятельность и готовность доводить исследовательскую идею до работающей модели совместно со смежными командами

Условия:

• Офисный формат работы, адрес офиса Автозаводская 23а к2
• Ежегодный пересмотр зарплаты, квартальная и годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Программа адаптации и помощь руководителя на старте
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• PyTorch
• Transformers
• Computer Vision
• Video Understanding
• Video Generation
• Multimodal Learning
• LLM
• VLM
• Robot Learning
• VLA
• World Models
• Diffusion
• Flow Matching
• Autoregressive Generation
• Imitation Learning
• Behavior Cloning
• Diffusion Policies
• Self-supervised Learning
• Reinforcement Learning
• Offline RL
• FSDP
• DeepSpeed
• Megatron
• Distributed Training
• GPU
• Git
• Experiment Tracking
• Scaling Laws
• GigaChat
• Kandinsky
• AI-агенты