Data Engineer в Лига Цифровой Экономики Москва

Data Engineer в Лигу Цифровой Экономики для работы с большими данными банковской сферы: аналитика источников, разработка витрин данных, прототипирование и контроль качества данных.

Задачи:

• Проводить аналитику новых источников и реплик автоматизированных систем (Hadoop, Spark)
• Разрабатывать витрины данных
• Строить прототипы и передавать их в разработку (SQL)
• Поддерживать и дорабатывать текущий функционал под новые требования
• Формировать проверки контроля качества данных

Требования:

• Уверенное знание SQL (HQL): оконные функции, multiple join, CTE, оптимизация
• Опыт работы с Hadoop, HDFS, Hive, YARN, Spark, понимание физического хранения данных в Hadoop и партиционирования таблиц
• Опыт работы с большими данными (от 10 млн записей в партиции)
• Опыт работы с банковскими данными и общее понимание продуктов банка

Условия:

• Полная занятость
• Формат работы: офис (Москва)

Навыки:

• SQL
• HQL
• Hadoop
• HDFS
• Hive
• YARN
• Spark