Программист-исследователь в VK Москва

Программист-исследователь в VK Tech для работы над RAG-архитектурой и LLM-агентами для B2B-кейсов.

Задачи:

• участвовать в проектировании RAG-архитектуры под B2B-кейсы: помогать выбирать источники данных, настраивать ingestion, chunking, базовые стратегии retrieval (dense/hybrid) под руководством более опытных коллег
• настраивать LLM/агентов под предметную область: реализовывать промпты, подключать инструменты (tool calling), работать с контекстом и базовой памятью
• реализовывать POC/POV на данных клиента, проводить итерационные улучшения на основе метрик и обратной связи
• строить Data Ingestion пайплайны с OCR
• реализовывать evaluation-пайплайны: генерация тестовых наборов, запуск auto-eval, участие в human-eval
• считать и анализировать ключевые метрики (accuracy, coverage, latency, user success rate), готовить отчеты для команды
• участвовать в настройке мониторинга: логирование, базовые алерты, анализ неуспешных кейсов и их фиксы
• участвовать в интеграции с инфраструктурой (Kubernetes, облако), работать с метриками и логами
• участвовать в нагрузочном тестировании для оценки скорости инференса и необходимых ресурсов

Требования:

• опыт работы с Python (pandas, PyTorch/TF, API LLM)
• опыт работы в ML/DS/NLP от двух лет
• опыт работы с LLM/RAG
• понимание полного цикла ML-разработки
• практический опыт работы с RAG: настройка retrieval, работа с embedding-моделями, векторными БД (FAISS, Qdrant, Pinecone и др.)
• понимание базовых техник улучшения качества (reranking, filtering, prompt tuning)
• опыт работы с агентными фреймворками (LangChain / LangGraph / LlamaIndex / ADK и др.)
• базовое понимание agentic-подходов и tool calling
• опыт prompt engineering и настройки LLM под задачи
• базовый опыт fine-tuning (или понимание подходов: LoRA, QLora, instruction tuning)
• понимание оптимизации инференса (на уровне использования инструментов: vLLM, quantization и др.)
• опыт работы с популярными ML фреймворками: transformers, vllm, sglang, pytorch
• SQL, базовое понимание работы с данными и пайплайнами
• опыт деплоя сервисов (Docker, FastAPI), базовое понимание Kubernetes/облака
• навыки логирования, мониторинга и базовых A/B-экспериментов
• опыт работы с evaluation для ML/LLM (auto-метрики + участие в ручной оценке, LLM-as-Judge)

Навыки:

• Python
• pandas
• PyTorch
• TensorFlow
• LLM
• RAG
• FAISS
• Qdrant
• Pinecone
• LangChain
• LangGraph
• LlamaIndex
• ADK
• vLLM
• sglang
• transformers
• SQL
• Docker
• FastAPI
• Kubernetes