DevOps инженер (LLM-модели) в ПАО Сбербанк Москва

DevOps-инженер в команду, которая строит платформу инференса и SFT opensource LLM. Задача — разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей с минимальной задержкой и высокой пропускной способностью.

Задачи:

• Разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности
• Обеспечивать масштабируемость и надёжность LLM-serving инфраструктуры, выбирать и настраивать инструменты инференса (sglang, vLLM, llama.cpp)
• Разрабатывать механизмы разграничения доступов к API-сервисам моделей
• Строить систему observability и мониторинга LLM-инференса
• Собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit)

Требования:

• Опыт в роли DevOps от 2 лет
• Уверенные знания Linux: сеть, storage, роли/пользователи, менеджмент процессов
• Владение Kubernetes (Istio Service Mesh)
• Опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM)
• Опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks
• Владение языками: Bash, Python, Groovy (Jenkins scripted)
• Продвинутые навыки в CI/CD и оркестрации моделей

Условия:

• Гибридный формат работы (2-3 дня в офисе)
• Годовой бонус и ежегодный пересмотр
• Расширенный ДМС с первого дня, стоматология и льготное страхование для семьи
• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• Офис на Кутузовской с зонами отдыха и спортзалом
• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм, скидки от партнёров

Навыки:

• Linux
• Kubernetes
• Istio
• sglang
• vLLM
• llama.cpp
• nginx
• Envoy
• HAProxy
• Bash
• Python
• Groovy
• Jenkins
• CI/CD
• FastAPI
• Flask
• Tornado
• Streamlit
• Chainlit
• CUDA
• NCCL
• MPI
• RDMA
• InfiniBand
• Opensearch
• Qdrant
• FAISS
• pgvector