Data инженер в Action tech удалённо

Data-инженер в команду данных холдинга. Развитие инфраструктуры на Hadoop и GreenPlum, разработка ETL-процессов в Airflow, построение витрин и контроль качества данных.

Задачи:

• Разрабатывать и дорабатывать ETL-процессы в Airflow
• Подключать новые источники данных
• Создавать и дорабатывать витрины данных
• Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
• Работать с большими объёмами данных
• Развивать процессы контроля качества данных
• Развивать и масштабировать инфраструктуру, запускать потоковое получение данных, развивать ETL и Reverse ETL, Data Catalog и Data Lineage

Требования:

• От 1 года опыта работы с данными
• Отличное знание SQL: JOIN, оконные функции, процедуры
• Умение профилировать и оптимизировать запросы, понимать план выполнения
• Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
• Практический опыт работы с Airflow и ETL-процессами
• Python на базовом уровне
• Знание Linux и умение работать с командной строкой
• Опыт работы с Git
• Понимание принципов работы Docker
• Опыт работы с большими данными (>100 GB)
• Опыт работы с DataHub
• Самостоятельность, амбициозность, лидерские качества

Условия:

• Полная занятость
• Можно удалённо

Навыки:

• Hadoop
• GreenPlum
• PostgreSQL
• SQL
• Airflow
• ETL
• Reverse ETL
• Python
• Linux
• Git
• Docker
• DataHub
• DWH
• Data Catalog
• Data Lineage