Опубликовано 5 дней назад

Big Data Engineer в ПАО Сбербанк Москва

в офис

не указана

Софи напишет его под твоё резюме. Бесплатно — 5 писем в день.

Инженер по данным в команду аналитики транзакционного бизнеса. Разработка дата-продуктов и аналитических витрин с фокусом на Hadoop-экосистему.

Задачи:

Анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности и риски
Искать зависимости в данных различных источников с учётом бизнес-специфики их хранения
Проектировать и разрабатывать аналитические витрины и ETL/ELT-пайплайны в Hadoop-экосистеме
Разрабатывать и оптимизировать Hive/Spark SQL, SQL-запросы и прототипы
Работать с HDFS, Hive, Spark, форматами хранения Parquet, партиционированием и бакетированием
Тестировать ETL и выявлять баги при построении дата-продуктов
Участвовать совместно с владельцем продукта в процессе приёмки витрин данных заказчиками
Развивать экспертизу по вопросам работы с данными внутри команды
Обеспечивать доступность, контроль качества и целостность данных

Требования:

Опыт работы в роли DE/DA/ETL Developer не менее 1 года
Практический опыт разработки на Hadoop: Hive, Spark, HDFS, понимание принципов MapReduce/Spark
Отличное знание SQL: вложенные запросы, оконные функции, регулярные выражения, CTE
Понимание MPP СУБД; опыт Greenplum будет преимуществом
Знание основных понятий и концепций из области DWH
Знание инструментов DevOps: Git, Nexus, Jenkins, SonarQube; любые IDE
Опыт работы с языками программирования Scala, Java, Python — как плюс
Умение работать с большим количеством источников данных

Условия:

Комфортный современный офис рядом с м. Кутузовская
Формат работы — офис
Ежегодный пересмотр зарплаты, годовая премия
Корпоративный спортзал и зоны отдыха
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
Программа адаптации и помощь руководителя на старте
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
Подписка Прайм с возможностью совместного использования на трёх близких
Вознаграждение за рекомендацию друзей в команду Сбера

Навыки: