MLOps-инженер в Miractal удалённо

MLOps-инженер для развёртывания и эксплуатации инфраструктуры инференса LLM в закрытом контуре: серверы инференса на GPU, единый шлюз доступа, мониторинг, обновление моделей и слой извлечения знаний над кодом и документацией.

Задачи:

• Развернуть и настроить сервер инференса (vLLM, при необходимости SGLang) на GPU-узле
• Подобрать режим работы под нагрузку: квантизация, размер батча, длина контекста, распределение моделей по картам, реплики под конкурентность
• Снять реальные показатели: пропускная способность, задержка, поведение под пиковой нагрузкой, давление кэша контекста
• Поднять единый шлюз (LiteLLM) с корпоративной аутентификацией, разграничением прав по командам, квотами, журналированием и защитными фильтрами
• Обеспечить единственную точку входа: сервер инференса не виден клиентам напрямую, доступ только из корпоративной сети
• Настроить мониторинг и оповещения: загрузка карт, память, очереди, задержки, ошибки (Prometheus, Grafana)
• Выстроить процедуру обновления моделей в закрытом контуре: подготовка в отдельной зоне, проверка подписей и контрольных сумм, перенос, внутренний реестр, выкатка с возможностью отката
• Дежурство по сервису, разбор инцидентов, ёмкостное планирование
• Отбирать и проверять открытые модели под задачи: чат и агент, автодополнение, работа с кодом; сравнение кандидатов на собственном стенде
• Проверять лицензии на право коммерческого использования внутри компании
• Замерять полезность: доля принятых подсказок, время на правки, обратная связь команд
• Настраивать клиентов в средах разработки (Continue, Cline, Tabby, терминальные инструменты) и браузерный интерфейс для ролей без среды разработки
• Подбирать модели и настройки под сценарии разных ролей, готовить инструкции и помогать командам на старте
• Готовить обучающие материалы и короткие занятия при выходе на все команды
• Построить слой извлечения над репозиториями кода, затем над внутренней документацией и трекером задач
• Сделать конвейер загрузки: разбор документов, разбиение, локальная модель эмбеддингов, векторное хранилище, инкрементальное обновление
• Соблюдать права доступа при выдаче и вырезать секреты и персональные данные при загрузке

Требования:

• Опыт вывода моделей в промышленную эксплуатацию: работающий сервис с пользователями и дежурством
• Практика с современными серверами инференса (vLLM, SGLang, TensorRT-LLM или аналоги), понимание непрерывного батчинга, кэша контекста, квантизации
• Уверенный Linux, Docker, работа с GPU NVIDIA (драйверы, CUDA, распределение ресурсов, диагностика)
• Инфраструктура как код и автоматизация выкаток, работа с внутренними реестрами артефактов
• Мониторинг и разбор проблем производительности: умение находить узкое место и подтверждать выводы измерениями
• Python на уровне уверенной автоматизации и работы с библиотеками инференса
• Готовность работать в закрытом контуре: без внешних сервисов, с процедурами переноса и проверкой целостности
• Опыт построения слоя извлечения знаний с учётом прав доступа будет преимуществом
• Понимание экономики железа: расчёт ёмкости, обоснование закупки, выбор между наращиванием реплик и более крупным узлом
• Опыт эксплуатации в регулируемой среде (финансы, платежи): аудит, разграничение доступа, требования к журналированию
• Знакомство с инструментами разработчика на стороне клиента и умение объяснить их коллегам

Условия:

• Конкурентная заработная плата — обсудим по итогам интервью
• Удаленный формат работы
• График 5/2: с 09:00 до 18:00 или с 10:00 до 19:00
• Предоставляем мощный рабочий ноутбук
• 100% компенсация больничных
• Скидка на изучение английского языка в Skyeng

Навыки:

• vLLM
• SGLang
• TensorRT-LLM
• LiteLLM
• Linux
• Docker
• NVIDIA GPU
• CUDA
• Prometheus
• Grafana
• Python
• Continue
• Cline
• Tabby
• векторное хранилище
• эмбеддинги
• Infrastructure as Code