Data Engineer в ПАО Сбербанк Москва

Data Engineer в центр компетенций по Data Engineering Сбера. Развитие фреймворка для построения batch- и streaming-витрин данных, реализация модулей платформы и API.

Задачи:

• Разрабатывать и дорабатывать компоненты фреймворка для построения batch- и streaming-витрин
• Реализовывать модули платформы (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java
• Реализовывать и поддерживать API (включая RESTful), упрощающие работу с данными для других команд
• Участвовать в оптимизации производительности Spark-приложений на больших объёмах данных
• Покрывать код тестами и участвовать в code review
• Взаимодействовать с пользователями платформы: разбирать обращения, помогать с интеграцией, собирать обратную связь

Требования:

• Высшее образование
• Опыт коммерческой разработки в data engineering от 2-3 лет
• Уверенное знание Scala или Java, SQL; базовые навыки Bash
• Практический опыт разработки на Apache Spark
• Понимание DWH/Data Lake, ETL/ELT-процессов, SCD, подходов к Data Quality
• Понимание принципов SOLID и ООП, опыт написания unit- и integration-тестов, работа с Git
• Умение самостоятельно доводить задачи до результата, аргументировать технические решения, работать в кросс-функциональной команде

Условия:

• Офисный формат в Москве (ул. Поклонная, 3)
• Ежегодный пересмотр зарплаты и годовая премия
• Расширенный ДМС и льготное страхование для семьи
• Уникальная система обучения Сбера для профессионального и карьерного развития
• Выгодная ипотека для сотрудников
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера
• Корпоративная пенсионная программа

Навыки:

• Scala
• Java
• SQL
• Bash
• Apache Spark
• DWH
• Data Lake
• ETL
• ELT
• SCD
• Data Quality
• SOLID
• ООП
• Git
• Kafka
• Flink
• Iceberg
• Hadoop
• HDFS
• YARN
• Hive
• ClickHouse
• Kubernetes
• S3
• Python