Software Engineer (Data Conveyor Team) в ПАО Сбербанк Москва

Software Engineer в команду Data Conveyor в Центре робототехники Сбера: проектирование и реализация пайплайнов подготовки данных для обучения ML-моделей, работа с данными с роботов и внешними датасетами.

Задачи:

• проектировать и реализовывать пайплайны, которые превращают данные из разных источников в формат, пригодный для обучения моделей
• стабилизировать основной путь конвертации данных с роботов: единый поддерживаемый процесс, проверяемые результаты, повторяемые запуски и понятные отчеты об ошибках
• поддерживать dataset schema, versioning, compatibility checks, validators и manifests
• подключать новые источники данных: записи с роботов, внешние датасеты, симуляции, egocentric data, данные тестовых запусков и корректирующих демонстраций
• обеспечивать reproducible dataset builds и связь source data -> converted episodes -> filtered dataset -> dataset release -> training run -> benchmark result
• создавать validation suite: проверка файлов, video/parquet layout, timestamps, required fields, metadata, annotation status и known historical variants
• готовить данные к передаче в обучение так, чтобы ML-команды понимали состав датасета, ограничения, версию и качество
• делать надежные CLI/tools, тесты, runbooks и отладочные отчеты для исследователей и инженеров

Требования:

• сильный Python и опыт разработки batch / data processing pipelines
• опыт backend, data engineering или software engineering для внутренних платформ и ML/data workflows
• опыт работы с большими файлами, metadata manifests, reproducible builds и validation logic
• практический опыт с Linux, Docker, Git, CI/CD и командной строкой
• понимание storage и data formats: S3/object storage, network storage, parquet, zarr, hdf5, webdataset, video files или аналогичные форматы
• умение разбираться в нестандартных форматах данных и приводить их к строгому контракту
• готовность писать поддерживаемый production-like код, а не одноразовые conversion scripts

Условия:

• офисный формат работы, адрес офиса Автозаводская 23а к2
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• batch processing
• data processing pipelines
• backend
• data engineering
• Linux
• Docker
• Git
• CI/CD
• S3
• object storage
• network storage
• parquet
• zarr
• hdf5
• webdataset
• video files
• LeRobot
• RLDS
• DROID
• Bridge
• RT-X
• ROS bags
• Ray
• Airflow
• Prefect
• Kubernetes
• SLURM
• LSF
• W&B
• MLflow
• Hydra
• computer vision
• multimodal data
• VLA
• imitation learning
• robot learning
• GigaChat
• Kandinsky