Data Engineer в ПАО Сбербанк Москва

Ищем дата-инженера для проектирования и поддержки ETL/ELT-пайплайнов и хранилищ данных в команду, занимающуюся платформой формирования и управления ИТ-командами.

Задачи:

• проектировать и разрабатывать ETL/ELT-пайплайны
• строить и поддерживать DWH и Data Lake
• обеспечивать качество и доступность данных
• оптимизировать производительность обработки данных
• взаимодействовать с дата-аналитиками и дата-сайентистами

Требования:

• высшее образование
• опыт работы в роли data engineer
• уверенное знание Python
• продвинутый SQL (оконные функции, CTE, оптимизация планов запросов)
• опыт работы с Apache Airflow, Dagster или Prefect, DAG-подход, идемпотентность задач, backfill-стратегии
• опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления
• опыт работы с Kafka, Kafka Streams, Apache Flink, Spark Structured Streaming, Docker, Kubernetes для продуктивных пайплайнов, CI/CD, Git
• опыт использования LLM для генерации/рефакторинга ETL-кода и автогенерации тестов для пайплайнов; описание схем данных и контрактов пайплайнов в виде спецификаций (dbt-контракты, JSON Schema, Data Contracts) как основы для генерации кода

Условия:

• офис рядом с метро Кутузовская (БЦ Poklonka Place)
• формат работы гибридный
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• подписка Прайм с возможностью совместного использования на трёх близких
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• SQL
• Apache Airflow
• Dagster
• Prefect
• Apache Spark
• PySpark
• Spark SQL
• Hadoop
• HDFS
• Kafka
• Kafka Streams
• Apache Flink
• Spark Structured Streaming
• Docker
• Kubernetes
• CI/CD
• Git
• LLM
• dbt
• JSON Schema
• Data Contracts