Data engineer в ПАО Сбербанк Москва

Data engineer в команду управления данными B2C сегмента Сбера. Разработка DWH/DataLake, поставка данных в RealTime, оптимизация ETL и внедрение новых технологий.

Задачи:

• разработка DWH/DataLake/LakeHouse
• построение поставки данных в RealTime/NRT/Batch
• проведение код-ревью других разработчиков
• оптимизация ETL
• внедрение новых технологий/новых стеков в существующие решения
• повышение актуальности данных
• снижение latency доступа к данным
• разработка и валидация архитектуры данных

Требования:

• отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
• опыт работы с Hadoop, Spark, Iceberg/Paimon, S3
• опыт работы с Kafka и др. Брокерами
• опыт работы с оркестраторами (например, Airflow) и CI/CD
• опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
• опыт кратной оптимизации ETL
• практическое знание python на уровне разработки ETL
• практическое знание java/scala будет преимуществом
• практический опыт создания и защиты архитектуры данных будет преимуществом
• практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
• инструментальное владение AI для анализа, генерации и автоматизации

Условия:

• офисный формат (Поклонная 3к1)
• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа

Навыки:

• SQL
• Hadoop
• Spark
• Iceberg
• Paimon
• S3
• Kafka
• Airflow
• CI/CD
• Python
• Java
• Scala
• GigaChat
• Kandinsky