Data Engineer / BI Engineer в Магнит Москва

Data Engineer / BI Engineer для разработки и сопровождения ETL/ELT-пайплайнов на Apache Spark и Flink, проектирования витрин данных для аналитики, BI и ML.

Задачи:

• Разрабатывать и сопровождать ETL/ELT-пайплайны на Apache Spark и Apache Flink
• Проектировать и развивать продуктовые витрины данных под задачи аналитики, BI и ML
• Готовить агрегированные и очищенные наборы данных из телематики, GPS, логов и учетных систем
• Контролировать качество, полноту и своевременность обновления данных
• Взаимодействовать с корпоративной платформой данных и владельцами источников по требованиям на подключение новых источников и доработку существующих загрузок
• Оптимизировать задания Spark/Flink, SQL-запросы и витрины для быстрой работы аналитики и дашбордов

Требования:

• Опыт работы в роли Data Engineer / BI Engineer от 2–3 лет
• Уверенный опыт работы с Apache Spark
• Опыт работы с Apache Flink или понимание принципов потоковой обработки данных
• Хорошее знание SQL и опыт оптимизации запросов
• Уверенное владение Python; понимание ETL/ELT-процессов, качества данных и мониторинга загрузок
• Опыт проектирования витрин

Условия:

• ДМС со стоматологией и льготными условиями для членов семьи
• Технику для работы
• Работу в уютном офисе в центре Москвы (ст. м. Савеловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская)
• Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
• Развитие – мы оплачиваем обучение на курсах и участие в конференциях
• Возможность проведения и участия в митапах, хакатонах, где есть возможность познакомиться с работой других подразделений
• Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
• Наличие корпоративной библиотеки курсов
• Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе

Навыки:

• Apache Spark
• Apache Flink
• SQL
• Python
• ETL
• ELT
• ClickHouse
• IoT
• GPS
• телематика
• ML
• process mining