Инженер данных Hadoop в ПАО Сбербанк Москва

Инженер данных в новую команду Блока «Развитие клиентского опыта B2C» Сбера. Разработка и поддержка витрин данных на Hadoop, ETL-процессы и подготовка датасетов для обучения моделей.

Задачи:

• Проектирование, разработка и сопровождение витрин данных на базе Hadoop
• Участие в разработке ETL-процессов для загрузки данных в витрины
• Поддержка и мониторинг работы витрин данных
• Взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных
• Разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality)
• Документирование разработанных решений

Требования:

• Практический опыт в разработке витрин данных, выстраивании ETL-процессов
• Уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности)
• Опыт работы с Hadoop (HDFS, YARN, Hive) и Spark
• Знание Java/Scala и опыт разработки на нём
• Опыт разработки на Python
• Понимание инструментов и технологий Big Data
• Знание принципов построения распределённых систем хранения и обработки данных
• Опыт обработки и миграции больших объёмов данных между различными источниками
• Опыт работы с системами контроля версий (Git)
• Навыки работы с генеративными AI-моделями

Условия:

• Комфортный современный офис рядом с м. Кутузовская
• Возможность выбрать удобный график – офис/гибрид
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Программа адаптации и помощь руководителя на старте
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера

Навыки:

• Hadoop
• HDFS
• YARN
• Hive
• Spark
• SQL
• ETL
• Java
• Scala
• Python
• Big Data
• Git
• Kafka
• Jenkins
• GitLab CI
• Docker
• Unix
• bash
• GigaChat
• Kandinsky