Prompt инженер в ПАО Сбербанк Москва

Prompt-инженер в Дирекцию мониторинга Agile Сбера. Создание и оптимизация промптов для LLM, оценка качества ответов моделей, разметка обучающих данных и поддержка RAG-систем для дашборда руководителей.

Задачи:

• Разработка и оптимизация диалоговых сценариев, сложных запросов (prompt-engineering) и примеров ответов для взаимодействия с LLM
• Оценка качества ответов моделей (ручная и автоматическая), их корректировка, фактчекинг, проверка на этичность и достоверность
• Формирование, систематизация и разметка обучающих данных для улучшения качества моделей
• Внедрение и оптимизация RAG-систем, включая интеграцию векторных баз данных (Pinecone, FAISS) и проведение A/B-тестирования промптов, моделей и подходов к генерации
• Разработка и поддержка базы знаний для LLM, включая актуализацию контента
• Обеспечение мониторинга работы AI-систем, выявление проблемных зон на разных этапах работы системы
• Написание автотестов для проверки стабильности и качества систем на каждом этапе
• Создание инструкций и рекомендаций по использованию AI в различных сценариях
• Мониторинг трендов в области AI, оценка новых инструментов и технологий

Требования:

• Опыт от 1 года в prompt-инжиниринге или в разработке AI-агентов
• Глубокое понимание LLM (GPT, Llama 2, BERT) и опыт работы с их API
• Умение калибровать параметры генерации (temperature, top-p, guidance и другие)
• Знание методов: zero-shot, few-shot, chain-of-thought
• Навыки программирования на Python (pandas, API), базовое владение Git
• Опыт работы с моделями ChatGPT, LLama, Qwen, DeepSeek и их аналогами
• Опыт работы с Langchain
• Знание SQL
• Опыт работы с ИИ-инструментами
• Умение структурировать документацию и визуализировать процессы

Условия:

• Комфортный современный офис рядом с м. Кутузовская
• Работа из офиса с возможностью работать удаленно один день в неделю
• Корпоративный спортзал и зоны отдыха
• Уникальная система обучения Сбера для профессионального и карьерного развития
• Программа адаптации и помощь руководителя на старте
• Расширенный ДМС и льготное страхование для семьи
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью использования на трех близких
• Вознаграждение за рекомендацию друзей в команду Сбера
• Корпоративная пенсионная программа

Навыки:

• Python
• pandas
• Git
• SQL
• Langchain
• RAG
• Pinecone
• FAISS
• GPT
• Llama 2
• BERT
• ChatGPT
• LLama
• Qwen
• DeepSeek
• prompt-engineering
• A/B-тестирование