Intern Data Engineer в Магнит Краснодар

Стажёр Data Engineer в компанию Магнит. Разработка и поддержка ETL-пайплайнов, работа с SQL и Python, мониторинг качества данных.

Задачи:

• разрабатывать и поддерживать ETL-пайплайны
• писать SQL-запросы для выгрузки данных
• мониторить качество данных и алертов
• работать с Jira/Confluence
• документировать процессы и пайплайны
• участвовать в код-ревью (на уровне чтения)

Требования:

• знание SQL (написание запросов средней сложности)
• понимание реляционных и NoSQL баз данных
• базовое понимание принципов построения ETL/ELT-пайплайнов
• опыт работы с Airflow или аналогами
• знание Python (pandas, basic scripting) или Scala
• владение Git
• базовое знание Docker
• понимание принципов работы с облачными хранилищами (S3, GCS)
• понимание архитектуры данных
• знание форматов хранения (Parquet, Avro, JSON)
• понимание принципов работы очередей (Kafka)
• аналитическое мышление: поиск причин аномалий в данных, логический подход
• внимательность: контроль качества данных, поиск несоответствий

Условия:

• официальное трудоустройство
• менторинг от экспертов компании
• задачи по развитию сервисов, которыми пользуются тысячи людей ежедневно
• участие во внутренних и внешних митапах, программах развития
• конкурентная заработная плата
• возможность перейти на постоянную роль после стажировки

Навыки:

• SQL
• NoSQL
• ETL
• ELT
• Airflow
• Python
• pandas
• Scala
• Git
• Docker
• S3
• GCS
• Parquet
• Avro
• JSON
• Kafka
• Jira
• Confluence