Инженер данных мастер-систем / Data Engineer в Melon Fashion Group удалённо

Инженер данных в IT-команду Melon Fashion Group. Проектирование мастер-систем и операционных хранилищ, разработка ETL/ELT-процессов и интеграций между системами.

Задачи:

• Проектировать структуры операционных хранилищ и модели мастер-данных
• Разрабатывать процессы загрузки, обработки, хранения и передачи данных
• Создавать пакетные и потоковые интеграции между информационными системами
• Настраивать получение изменений из систем-источников, включая CDC-механизмы
• Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
• Обеспечивать хранение истории изменений мастер-данных
• Готовить данные для передачи в DWH и другие системы-потребители
• Разрабатывать проверки качества данных, технические и бизнес-сверки
• Настраивать мониторинг, логирование и обработку ошибок
• Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
• Участвовать в выборе архитектурных и технологических решений
• Сопровождать и развивать разработанные решения в промышленной эксплуатации

Требования:

• Опыт работы 3–6 лет
• Уверенное владение SQL
• Опыт разработки на Python
• Опыт проектирования структур и моделей хранения данных
• Опыт создания ETL- или ELT-процессов
• Понимание принципов пакетной и потоковой обработки данных
• Понимание интеграционных паттернов и способов передачи данных между системами
• Навыки работы с реляционными СУБД
• Понимание механизмов обеспечения целостности и консистентности данных
• Опыт настройки логирования, мониторинга и обработки ошибок
• Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации

Условия:

• Полная занятость
• График 5/2
• Формат работы: удалённо, гибрид или офис

Навыки:

• SQL
• Python
• ETL
• ELT
• Kafka
• Flink
• Debezium
• CDC
• Apache Airflow
• ClickHouse
• MDM
• DWH
• Git
• CI/CD
• контейнеризация