LLM Platform Engineer в Okko Москва

Инженер платформы LLM в Okko: проектирование и поддержка прикладных LLM-решений для внутренних продуктов и процессов, включая MCP-серверы, безопасную среду исполнения агентов и вывод сервисов в продакшн.

Задачи:

• Проектировать и поддерживать MCP-серверы (Python/TypeScript): tools для LLM, auth, интеграция с корпоративными API (Bitbucket Server, EWS/Outlook, Grafana и др.)
• Поддерживать и отвечать за единый реестр скиллов, плагинов и MCP-серверов
• Участвовать в разработке безопасной среды исполнения агентов
• Участвовать в выводе в prod/preprod: прототип → сервис → мониторинг качества, latency и cost
• Работать с кодовой базой и документацией, предлагать решения с учётом ограничений инфраструктуры Okko

Требования:

• Высшее техническое образование
• Уверенный Python; опыт backend-разработки и интеграций с API
• Понимание современных LLM и LLM-приложений: prompt engineering, function/tool calling, RAG там, где нужен контекст
• Опыт работы с Model Context Protocol (MCP)
• Опыт интеграций через REST API и настройки доступа, плюсом — работа с системами контроля версий и review-процессами
• Сильные навыки CI/CD: Docker/k8s, gitlab-ci, Jenkins
• Опыт с трейсингом и логированием в контексте LLM: Langfuse, LangSmith, OpenTelemetry
• Умение писать поддерживаемый код, тесты на критичные сценарии, документация
• Опыт настройки инференса LLM (vLLM, SGLang, TensorRT)

Условия:

• Необходимое оборудование и софт для работы
• Официальное трудоустройство
• ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки
• Льготные условия ипотеки в рамках зарплатного проекта
• Бесплатная подписка на сервисы партнёров
• Корпоративный спорт
• Насыщенная корпоративная жизнь
• Электронная библиотека издательства МИФ

Навыки:

• Python
• TypeScript
• LLM
• MCP
• REST API
• CI/CD
• Docker
• k8s
• GitLab CI
• Jenkins
• Langfuse
• LangSmith
• OpenTelemetry
• vLLM
• SGLang
• TensorRT
• Faiss
• Chroma
• Qdrant
• OpenWebUI
• LiteLLM
• LangChain
• Bitbucket Server
• EWS/Outlook
• Grafana