Data engineer в ПАО Сбербанк Москва

Data engineer в команду развития специализированных витрин данных в крупнейшей экосистеме Сбера. Разработка и поддержка витрин данных в облаке, оптимизация ETL-пайплайнов.

Задачи:

• Разрабатывать и поддерживать витрины данных в облачной экосистеме
• Проектировать и улучшать архитектуру системы
• Разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala
• Помогать другим командам
• Внедрять контроль качества данных (SODA)

Требования:

• Высшее образование
• Опыт работы в аналогичной роли от 3 лет
• Глубокое понимание принципов модели распределённых вычислений
• Уверенные навыки поиска, обработки данных и построения витрин с помощью Spark и SQL
• Опыт промышленной разработки на стеке Scala/Java/Python
• Знание инструментов по обработке больших данных (Spark, Trino, Polars)
• Опыт работы со стримингом (Flink, Spark Streaming, Kafka)
• Продвинутые знания SQL и практический опыт работы с одной из реляционных СУБД (Oracle, PostgreSQL, mySQL, MS SQL Server)
• Работа с объектными хранилищами S3 и файловой системой HDFS
• Знание любого оркестратора рабочих процессов (AirFlow, Oozie, Dagster, Argo Workflows)
• Понимание подходов к организации разработки (CI/CD, DevOps)

Условия:

• Офис рядом с метро Маяковская
• Гибридный формат работы
• Ежегодный пересмотр зарплаты и годовая премия
• Корпоративный спортзал и зоны отдыха
• Подписка Прайм с возможностью совместного использования на трёх близких
• Более 400 образовательных программ СберУниверситета
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• Scala
• Java
• Spark
• SQL
• Trino
• Polars
• Flink
• Spark Streaming
• Kafka
• Oracle
• PostgreSQL
• MySQL
• MS SQL Server
• S3
• HDFS
• AirFlow
• Oozie
• Dagster
• Argo Workflows
• CI/CD
• DevOps
• Iceberg
• DataHub
• OpenMetaData
• SODA
• GreatExpectation
• ClickHouse
• Kubernetes
• GigaChat
• Kandinsky