Дата инженер в ПАО Сбербанк Москва

Дата-инженер в ИТ-подразделение Сбера для развития дата-платформы на сотни петабайт данных в архитектуре Data Lakehouse на Hadoop. Работа с батчевой и потоковой обработкой данных, витринами и ETL-пайплайнами.

Задачи:

• Разработка DWH/DataLake/LakeHouse
• Построение поставки данных в Batch/NRT/RealTime
• Оптимизация ETL
• Повышение актуальности данных
• Снижение latency доступа к данным
• Разработка и валидация архитектуры данных
• Разработка и поддержка витрин данных в Hadoop (HDFS, Iceberg, Hive)
• Разработка NRT-пайплайнов на Kafka и dynamic tables

Требования:

• Отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
• Опыт работы с Hadoop, Spark, Iceberg/Paimon
• Опыт работы с Kafka и другими брокерами
• Опыт работы с оркестраторами (например, Airflow) и CI/CD
• Опыт построения архитектуры данных (Data Vault, Инман, Кимбалл и др.)
• Опыт кратной оптимизации ETL
• Практическое знание Python на уровне разработки ETL будет преимуществом
• Практическое знание Java/Scala будет преимуществом
• Практический опыт создания и защиты архитектуры данных будет преимуществом
• Практический опыт разработки solution-архитектуры data-продуктов будет преимуществом

Условия:

• Офисный формат работы (м Кутузовская, ул. Поклонная, 3)
• Годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета
• Регулярные митапы и развитое DS-community
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбер

Навыки:

• SQL
• Hadoop
• HDFS
• Iceberg
• Hive
• Spark
• Oozie
• Jenkins
• BitBucket
• Kafka
• Python
• Java
• Scala
• Airflow
• Data Vault
• Paimon