Data Engineer / Analytics Engineer / Data Analyst в ПАО Сбербанк Санкт-Петербург

Ищем Data Engineer / Analytics Engineer / Data Analyst для обработки больших данных с использованием Apache Spark и Hadoop, написания сложных SQL-запросов и взаимодействия с аналитиками.

Задачи:

• обработка больших объемов данных с использованием Apache Spark и Hadoop с целью выявления аномалий, нарушений и рисков
• написание и оптимизация сложных SQL-запросов
• взаимодействие с аналитиками: перевод бизнес-требований на язык технических решений

Требования:

• опыт работы в роли Data Engineer / Analytics Engineer / Data Analyst
• уверенное знание Python: опыт работы с библиотеками для обработки данных PySpark, pandas, logging
• знание SQL: умение писать сложные запросы, оконные функции, понимание планов выполнения и методов оптимизации запросов
• опыт работы с Big Data экосистемой: Apache Spark: опыт написания и оптимизации задач на PySpark, понимание распределенных вычислений, Hadoop: понимание архитектуры (HDFS, YARN), партиций
• опыт работы с MPP-СУБД: уверенное знание Greenplum (понимание принципов распределения данных Distribution Keys, партицирования, индексирования и оптимизации запросов в распределенной среде)
• знание основ Git будет преимуществом

Условия:

• трудоустройство согласно ТК РФ
• гарантированный доход плюс премиальное вознаграждение
• ДМС с первого дня и льготное страхование для близких
• обучение за счет компании: более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• корпоративная пенсионная программа
• вознаграждение за рекомендацию друзей в команду Сбера
• место работы: г Санкт-Петербург, пр-кт Шафировский, 2

Навыки:

• Python
• PySpark
• pandas
• logging
• SQL
• Apache Spark
• Hadoop
• HDFS
• YARN
• Greenplum
• Git