Prompt инженер в ПАО Сбербанк Москва

Prompt инженер в команду мониторинга Agile Сбера для создания и оптимизации запросов к LLM-моделям, оценки качества ответов и разработки RAG-систем.

Задачи:

• разработка и оптимизация диалоговых сценариев, сложных запросов (prompt-engineering) и примеров ответов для взаимодействия с LLM
• оценка качества ответов моделей (ручная и автоматическая), их корректировка, фактчекинг, проверка на этичность и достоверность
• формирование, систематизация и разметка обучающих данных для улучшения качества моделей
• внедрение и оптимизация RAG-систем, включая интеграцию векторных баз данных (Pinecone, FAISS) и оценку проведение A/B-тестирования промптов, моделей и подходов к генерации
• разработка и поддержка базы знаний для LLM, включая актуализацию контента
• обеспечение мониторинга работы AI-систем, выявление проблемных зон и в разных этапах работы системы
• написание автотестов для проверки стабильности и качества систем на каждом этапе
• создание инструкций и рекомендаций по использованию AI в различных сценариях
• мониторинг трендов в области AI, оценка новых инструментов и технологий

Требования:

• опыт от 1 года в prompt-инжиниринге или в разработке AI-агентов
• глубокое понимание LLM (GPT, Llama 2, BERT) и опыт работы с их API
• умение калибровать параметры генерации (temperature, top-p, guidance и другие)
• знание методов: zero-shot, few-shot, chain-of-thought
• навыки программирования на Python (pandas, API), базовое владение Git
• опыт работы с моделями ChatGPT, LLama, Qwen, DeepSeek и их аналогами
• опыт работы с Langchain
• знание SQL
• умение структурировать документацию и визуализировать процессы

Условия:

• комфортный современный офис рядом с м. Кутузовская
• работа из офиса с возможностью работать удаленно один день в неделю
• корпоративный спортзал и зоны отдыха
• уникальную систему обучения Сбера для профессионального и карьерного развития
• программу адаптации и помощь руководителя на старте
• расширенный ДМС и льготное страхование для семьи
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью использования на трех близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративную пенсионную программу

Навыки:

• Python
• pandas
• Git
• SQL
• Langchain
• GPT
• Llama 2
• BERT
• ChatGPT
• LLama
• Qwen
• DeepSeek
• Pinecone
• FAISS
• RAG