Data Engineer в Сбер Санкт-Петербург

Data Engineer в отдел аудита Сбера. Обработка больших данных с помощью Spark и Hadoop, разработка SQL-запросов, взаимодействие с аналитиками.

Задачи:

• Обрабатывать большие объемы данных с использованием Apache Spark и Hadoop, выявлять аномалии, нарушения и потенциальные риски.
• Разрабатывать и оптимизировать сложные SQL-запросы для анализа больших объемов данных.
• Взаимодействовать с аналитиками: понимать бизнес-задачи, формализовывать требования и переводить их в технические решения.

Требования:

• Опыт работы в роли Data Engineer или Data Analyst.
• Уверенное владение Python и практический опыт работы с PySpark, pandas и logging.
• Хорошее знание SQL: сложные запросы, оконные функции, анализ планов выполнения и оптимизация.
• Опыт работы с Apache Spark: задачи на PySpark, понимание принципов распределенных вычислений.
• Знакомство с экосистемой Hadoop: архитектура HDFS и YARN, партиции и распределенное хранение данных.
• Умение самостоятельно разбираться в бизнес-требованиях и находить технические решения.
• Будет преимуществом опыт работы с MPP-СУБД Greenplum и знание основ Git.

Условия:

• Стабильный оклад и годовой бонус.
• Место работы: Санкт-Петербург, пр-кт Шафировский, 2, литер В.
• График 5/2 с 9:00 до 18:00, в пятницу до 16:45, только офис.
• Официальное оформление с первого дня.
• Уникальная система онлайн-обучения Сбера.
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
• Расширенный ДМС и льготное страхование для семьи.
• Подписка Прайм с возможностью совместного использования на трех близких.
• Вознаграждение за рекомендацию друзей в команду Сбера.

Навыки:

• Python
• PySpark
• pandas
• logging
• SQL
• Apache Spark
• Hadoop
• HDFS
• YARN
• Greenplum
• Git