Middle AI Infrastructure Engineer в ПАО Сбербанк Москва

Инженер инфраструктуры для масштабирования и поддержки высокопроизводительного LLM-сервинга. Отвечает за надёжность инференса, шлюзовой слой, оптимизацию GPU-ресурсов и мониторинг.

Задачи:

• Обеспечивать надёжность LLM-сервинга в проде: стабильная работа инференса (vLLM/SGLang) под highload, обновления без даунтайма, планирование мощностей
• Развивать шлюзовой слой: роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость
• Оптимизировать производительность: настройка инференс-сервисов (vLLM, SGLang), распределение ресурсов между GPU-нодами, параметры инференса под тип нагрузок
• Внедрять глубокий мониторинг метрик GPU (память, ядра, температура) и производительности моделей
• Оперативно решать инциденты и обеспечивать высокую доступность сервисов

Требования:

• Опыт работы в DevOps/SRE или системной инженерии от 3 лет
• Практический опыт с LLM-сервингом (vLLM, SGLang, TGI, Triton), понимание конфигурирования движков под разные типы нагрузок
• Глубокие знания Linux, Docker и Kubernetes
• Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA)
• Навыки программирования на Python или Go для автоматизации
• Опыт работы с Prometheus и Grafana
• Понимание работы нейросетей на системном уровне

Условия:

• Комфортный современный офис — м. Кутузовская
• Ежегодный пересмотр зарплаты, годовой бонус
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• vLLM
• SGLang
• TGI
• Triton
• LiteLLM
• Shepherd Model Gateway
• OpenWebUI
• Kubernetes
• Docker
• Linux
• NVIDIA drivers
• CUDA
• Python
• Go
• Prometheus
• Grafana