Инженер данных в Магнит Москва

Инженер данных в команду развития Data-платформы Магнита: разработка инструментов для интеграции данных в Data Lake, чтобы другие команды могли самостоятельно загружать данные.

Задачи:

• Разрабатывать и развивать платформы batch- и CDC-инжеста данных в Data Lake
• Проектировать платформенные компоненты и API для подключения источников, настраивать загрузки и управлять жизненным циклом данных
• Развивать интеграции с Iceberg, Spark, Trino, Impala, Kafka, Kafka Connect и Debezium
• Разрабатывать механизмы надёжности: контроль качества и полноты данных, обработка ошибок, повторные запуски и восстановление загрузок
• Проводить анализ и оптимизацию производительности, масштабируемости и потребления ресурсов платформы
• Подключаться к сопровождению потоков при сложных инцидентах

Требования:

• Опыт коммерческой разработки на Python от 2–3 лет, умение писать поддерживаемый и тестируемый код
• Уверенное знание SQL, принципов моделирования и хранения данных, особенностей распределённых вычислений
• Опыт работы с Apache Airflow и Apache Spark
• Понимание архитектуры и принципов эксплуатации распределённых систем

Условия:

• Оформление в аккредитованную ИТ-компанию
• Конкурентоспособная заработная плата (обсуждается индивидуально)
• ДМС со стоматологией и льготными условиями для членов семьи
• Техника для работы
• График работы 5/2 с гибким началом
• Работа в уютном офисе в центре Москвы (ст. м. Савёловская), в Краснодаре или удаленно из других городов РФ, также есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
• Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
• Развитие – оплата обучения на курсах и участие в конференциях
• Возможность проведения и участия в митапах, хакатонах
• Корпоративные скидки PRIMEZONE и программы лояльности от компании
• Корпоративная библиотека курсов
• Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе

Навыки:

• Python
• Apache Airflow
• Apache Spark
• Apache Iceberg
• Trino
• Impala
• SQL
• Kafka
• Kafka Connect
• Debezium