Data Engineer в ПАО Сбербанк Москва

Data Engineer в команду блока Строительства для построения хранилища данных и автоматизации бизнес-процессов, включая подготовку данных для AI, разработку ETL-пайплайнов и векторных хранилищ.

Задачи:

• Подготовка данных для AI: формирование датасетов для обучения ML-моделей и тонкой настройки LLM-агентов (очистка, разметка, агрегация)
• Разработка пайплайнов: создание и сопровождение ETL-процессов, агрегирующих информацию из 3 смежных автоматизированных систем (АС), с обеспечением минимальной задержки
• Векторные хранилища: проектирование схем и наполнение векторных баз данных (Chroma, Qdrant, Milvus) для реализации семантического поиска и RAG-архитектур
• Управление качеством данных (Data Quality): внедрение систем валидации (проверка на полноту, дубликаты, аномалии) и мониторинг показателей здоровья данных
• Data Lineage & Документация: ведение полного учета происхождения данных (от источника до агента), разработка схем данных и актуализация технической документации для смежных команд (ML-инженеров и бэкендеров)

Требования:

• Опыт работы от 3 лет в коммерческой разработке на позиции Data Engineer или ETL-разработчика
• Продвинутое владение Python (написание продакшн-кода) и SQL (сложные запросы, оконные функции)
• Уверенное владение Apache Spark (PySpark) для трансформации больших объемов данных
• Построение и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow или Apache NiFi
• Практический опыт с колоночными СУБД (ClickHouse) и/или облачными решениями типа Snowflake
• Опыт проектирования REST API для выдачи данных наружу (в том числе для агентов)
• Умение парсить, нормализовать и структурировать неструктурированные данные (опыт работы с PDF-документами, чертежами DWG, сканами) обязателен
• Инструментальное владение AI для анализа, генерации и автоматизации

Условия:

• Гибридный формат работы (современный офис в Москве на метро Кутузовская)
• Льготные ипотечные условия кредитования
• Подписка Прайм с возможностью совместного использования на трёх близких
• Скидки на продукты компаний – партнеров: Okko, Сбер Маркет, Мега Маркет, Самокат, Еаптека и другие
• ДМС с первого дня и скидки на страхование для близких
• Корпоративная пенсионная программа
• Детский отдых и подарки за счет Компании
• Обучение за счет Компании, Онлайн курсы, неограниченный доступ к библиотеке и обучение на базе Корпоративного университета, тренинги, митапы и возможность получить новую квалификации

Навыки:

• Python
• SQL
• Apache Spark
• PySpark
• Apache Airflow
• Apache NiFi
• ClickHouse
• Snowflake
• REST API
• Chroma
• Qdrant
• Milvus
• ETL
• ELT
• RAG
• LLM
• ML
• PDF
• DWG