Data Engineer в Магнит удалённо

Data Engineer в финтех-направление MAGNIT для развития data-платформы на базе Lakehouse. Работа с большими объёмами данных, создание и поддержка data pipelines и витрин для аналитики и продуктовых команд.

Задачи:

• Погрузиться во фреймворки загрузки данных и расчёта витрин
• Освоиться в предметной области данных
• Проводить code review аналитиков для использования лучших технических решений и оптимизации производительности
• Создавать новые паттерны загрузки данных и расчёта витрин для переиспользования
• Развивать модель данных
• Рефакторить текущие процессы, предлагать лучшие практики работы с данными
• Самостоятельно вести проекты, нужные бизнесу
• Участвовать в развитии LakeHouse в Trino

Требования:

• Знание особенностей MPP систем
• Уверенное владение SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)
• Опыт с Python, достаточный для разработки операторов в AirFlow (ООП) и написания пайплайнов данных из различных источников
• Понимание принципов работы AirFlow (даги, таски, операторы, сенсоры, хуки, контекст)
• Опыт в GreenPlum
• Опыт Kafka, Iceberg, S3, DBT

Условия:

• Интересный сложный продукт с большим количеством пользователей
• Формат работы: полная удалёнка, при желании — гибрид/офис
• Оформление в IT-компании, аккредитованной в Министерстве цифрового развития
• ДМС
• Современный стек технологий

Навыки:

• SQL
• Python
• AirFlow
• GreenPlum
• Kafka
• Iceberg
• S3
• DBT
• Trino
• MPP