Data Engineer в Лига Цифровой Экономики Москва

Data Engineer в проект крупного банка ТОП3: разработка хранилища данных для департамента управления рыночными рисками.

Задачи:

• Проводить аналитику новых источников и реплику автоматизированных систем (Hadoop, Spark)
• Разрабатывать витрины данных
• Строить прототипы и передавать их в разработку (SQL)
• Поддерживать и дорабатывать текущий функционал под новые требования
• Формировать проверки контроля качества данных

Требования:

• Уверенное знание SQL (HQL): оконные функции, multiple join, CTE, оптимизация
• Опыт работы с Hadoop, HDFS, Hive, YARN, Spark, понимание физического хранения данных в Hadoop и партиционирования таблиц
• Опыт работы с большими данными (от 10 млн записей в партиции)
• Опыт работы с банковскими данными и общее понимание продуктов банка

Условия:

• Корпоративная культура со своими ценностями и традициями
• Техника для комфортной работы
• Работа в команде профессионалов, мотивированных на бизнес-результат
• Сессии профессионального развития 2 раза в год с планом индивидуального развития и обратной связью
• Сообщества по интересам: Лига Спорта, Лига Кибер Спорта, Лига Интеллекта, возможность организовать своё сообщество
• ДМС со стоматологией для сотрудников и скидка на ДМС для ближайших членов семьи

Навыки:

• SQL
• HQL
• Hadoop
• HDFS
• Hive
• YARN
• Spark