Middle DS / GenAI Agent Engineer в Сбер. Data Science Москва

R&D-подразделение лаборатории кибербезопасности развивает платформу автономного наступательного тестирования нового поколения. В основе — мультиагентная роевая архитектура на базе LLM, объединяющая инструментальную автоматизацию, методологию MITRE ATT&CK и адаптивную оркестрацию атакующих сценариев.

Мы строим среду, в которой LLM-агенты помогают воспроизводить действия Red Team: разведку, эксплуатацию, закрепление, горизонтальное перемещение — от единичных техник до полноценных цепочек атак. Отдельный фокус проекта — развитие собственных доменно-специализированных моделей и пайплайнов обучения: подготовка данных, SFT/LoRA/RL-подходы, оценка качества reasoning и tool-use поведения, эксперименты с форматами обучающих примеров и автоматическая генерация данных.

Обязанности

Проектирование, проведение и анализ DS R&D-экспериментов для улучшения LLM/DSLM в задачах offensive security: подготовка и нормализация данных, fine-tuning, LoRA/SFT/GRPO/RL-подходы, оценка качества моделей, исследование агентного поведения, tool use, reasoning, RAG и интеграция результатов в мультиагентную платформу.

• подготовка и нормализация обучающих данных: разбор writeups, CTF/HTB решений, логов агентных прогонов, командной истории, reasoning-трейсов, structured output и tool-use эпизодов
• проектирование форматов обучающих датасетов: task → action, observation → next step, multi-step trajectories, critique/reflection, verification, command generation, schema-based tool calls
• построение пайплайнов для SFT/LoRA/QLoRA: подготовка JSONL датасетов, валидация схем, дедупликация, фильтрация, балансировка, train/val/test split, контроль утечек
• эксперименты с RL-подходами для LLM: GRPO, DPO, reward modeling, preference datasets, self-play/evolutionary data generation, автоматическая оценка траекторий
• оценка качества моделей и обучающих данных: разработка метрик для reasoning, tool use, command correctness, task progress, milestone completion, hallucination rate, robustness
• создание пайплайнов синтеза данных: генерация задач, окружений, сценариев атак, подсказок, команд, объяснений, негативных примеров и проверочных наборов
• работа с NLP-задачами внутри домена: классификация техник MITRE ATT&CK, извлечение сущностей из writeups, нормализация команд, суммаризация траекторий, поиск похожих шагов, кластеризация
• исследование RAG и knowledge grounding: построение доменных баз знаний, retrieval over writeups/manpages/tools/docs, оценка влияния контекста на качество действий агента
• эксперименты с локальными open-source моделями: запуск через vLLM/Ollama/llama.cpp, подбор базовых моделей, сравнение SFT/LoRA вариантов, inference benchmarking
• интеграция обученных моделей в агентную систему: проверка качества в CTF-like средах и реальных окружениях
• разработка исследовательской инфраструктуры: MLflow/Langfuse-логирование, трекинг экспериментов, версионирование данных, автоматические отчеты
• анализ современных статей и open-source проектов в области LLM fine-tuning, cyber agents, tool use, synthetic data, agentic RL и LLM evaluation.

Требования

• высшее техническое образование
• практический опыт в ML/DL/NLP от 2х лет: обучение, дообучение, валидация моделей, анализ ошибок, работа с экспериментами.
• опыт работы с LLM: prompt design, structured output, tool calling, schema-based interaction, evaluation
• понимание современных подходов к fine-tuning LLM: SFT, LoRA/QLoRA, instruction tuning, preference tuning; готовность разбираться в GRPO/RL-подходах
• практический опыт с PyTorch, Hugging Face Transformers/Datasets, PEFT, TRL или аналогичными инструментами
• понимание базовых NLP-задач: классификация, извлечение сущностей, retrieval, embeddings, reranking, clustering, summarization
• сильный Python: чистый, поддерживаемый, расширяемый код; опыт коммерческой или исследовательской backend-разработки
• опыт построения мультиагентных систем или сложных agentic workflow
• понимание архитектуры агента: роли, цели, память, планирование, вызов инструментов, контуры верификации
• опыт работы с агентными фреймворками (CrewAI, LangGraph, Autogen или аналоги)
• опыт интеграции внешних инструментов, CLI-утилит, брокеров сообщений, баз данных
• понимание принципов RAG: retrieval, knowledge grounding, работа с контекстом
• навыки отладки, профилирования и оптимизации Python-приложений.

Будет плюсом

• опыт на стыке GenAI и Cybersecurity
• участие в CTF, Hack The Box, разработка security-тулинга или research automation
• практика fine-tuning open-source LLM на доменных данных
• практика работы с локальным запуском open-source моделей (vLLM, Ollama, llama.cpp)
• опыт работы с GRPO, DPO, ORPO, reward models, RLHF/RLAIF или другими post-training подходами
• опыт построения multi-step planning, tree search, graph-based orchestration в агентных системах
• навыки Docker, Kubernetes, CI/CD, Langfuse
• опыт быстрого прототипирования R&D-решений в условиях неопределённых требований
• понимание offensive/defensive security workflow на уровне исследовательских задач
• собственные pet-проекты, GitHub, публикации или сильные результаты в профильных соревнованиях.

Условия

• комфортный современный офис
• формат работы - фул офис
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.