Data Engineer в ПАО Сбербанк Москва

Data Engineer для создания и поддержки инфраструктуры данных крупного банка. Разработка витрин данных, ETL-процессов и оптимизация обработки больших объемов информации.

Задачи:

• анализировать источники и метаданные хранилищ Hadoop и Greenplum для формирования витрин данных
• реализовывать и сопровождать витрины данных с использованием технологий Spark/Hadoop и Greenplum
• создавать и поддерживать ETL-процессы загрузки данных из внутренних и внешних систем, разрабатывая инкрементальные сценарии
• организовывать проверку качества данных и метрик (целостность, полнота, отсутствие дублей)
• проводить оптимизацию SQL-запросов и Spark-процессов, выбирая наиболее эффективные способы соединения таблиц и схемы хранения данных
• активно взаимодействовать с командой разработчиков и аналитиками в рамках Agile-процессов
• применять современные инструменты анализа данных и машинного обучения (LLM/GigaChat) для повышения эффективности своей работы

Требования:

• уверенное владение Python и Spark SQL. Опыт работы с Git (GitHub/BitBucket)
• знание SQL, глубокое понимание всех видов JOIN, группировок, агрегатных и оконных функций
• опыт оптимизации запросов, понимание планов исполнения и методов организации индексов и ключей
• опыт работы с хранилищами данных (DWH), процессами ETL/ELT и методами инкрементальной загрузки данных (CDC)
• навык работы с Jira для управления релизами и организацией рабочего процесса

Условия:

• комфортный современный офис рядом с м. Кутузовская
• офисный формат работы
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Python
• Spark SQL
• Git
• GitHub
• BitBucket
• SQL
• Hadoop
• Greenplum
• Spark
• ETL
• ELT
• CDC
• Jira
• LLM
• GigaChat