Data Engineer (Цифровые валюты) в ПАО Сбербанк Москва

Data Engineer в команду, обеспечивающую точность расчётов резервов банка и надёжные данные о торговых операциях и позициях. Работа с витринами данных и ETL-процессами на платформе Hadoop.

Задачи:

• Разрабатывать вычислительные процессы и структуры хранения данных
• Создавать и поддерживать витрины данных и ETL-процессы на платформе Hadoop с инструментами Spark, Hive, HDFS
• Анализировать и улучшать существующие ETL-процессы, устраняя узкие места
• Сопровождать команды бизнеса и разработчиков по нестандартным запросам
• Обеспечивать высокое качество и доступность данных
• Повышать эффективность обработки больших массивов информации
• Развивать компетенции в финансовой сфере и внедрять инновационные подходы

Требования:

• Уверенное владение SQL, включая оконные функции, CTE и оптимизацию запросов
• Опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционированием и распределёнными вычислениями
• Понимание устройства хранилищ данных и принципов их проектирования
• Опыт работы с крупными объёмами данных и подходами к оптимизации процессов
• Промышленный опыт создания ETL-процессов и общее представление об архитектуре ИИ и машинного обучения
• Знание основ git (Bitbucket), gradle, jenkins, умение настраивать задачи и писать pipelines
• Свободное чтение технической документации на английском языке, способность разбираться в существующем коде и проводить ревью
• Умение оперативно переключаться между задачами

Условия:

• Гибкий график: два дня в неделю в офисе, остальные дни удалённо после испытательного срока
• Регулярные пересмотры зарплаты и возможность получения годовой премии
• Доступ к обучению в СберУниверситете
• Расширенная медицинская страховка, выгодные условия ипотеки и скидки на подписки
• Возможность рекомендовать коллег и получать бонусы

Навыки:

• SQL
• Apache Spark
• PySpark
• Spark SQL
• Hadoop
• HDFS
• Hive
• ETL
• git
• Bitbucket
• gradle
• jenkins
• Scala
• Python
• Java
• Kotlin
• LLM