ML-инженер (ML-платформа прогнозирования спроса) в Магнит Москва

ML-инженер в команду развития ML-платформы прогнозирования спроса для федеральной розничной сети. Нужно интегрировать алгоритмы Data Science в промышленный контур, разрабатывать Spark-приложения и пайплайны, работать с Airflow и Kubernetes.

Задачи:

• Интегрировать изменения и новые алгоритмы от Data Science в промышленный контур прогнозирования
• Разрабатывать и сопровождать Spark-приложения и расчетные пайплайны
• Работать с Airflow DAG и процессами запуска расчетов в DEV, UAT и PROD
• Участвовать в развитии MLOps-фреймворка, версионирования расчетов и релизного процесса
• Оптимизировать Spark-расчеты и помогать обеспечивать стабильное выполнение пайплайнов в рамках SLA
• Работать с Kubernetes-инфраструктурой под Spark-приложения
• Участвовать в развитии мониторинга, логирования, Data Quality и диагностики расчетов
• Работать с данными в S3 и Delta Lake, историей расчетов и процессами хранения данных
• Участвовать в развитии CI/CD и внутренних инструментов ML-платформы
• Участвовать в технических PoC и тестировании новых технологий на реальных расчетах

Требования:

• Хорошее знание Python
• Практический опыт с Apache Spark / PySpark
• Опыт работы с Apache Airflow
• Уверенный SQL
• Базовый практический опыт с Kubernetes и Docker
• Понимание принципов работы с большими объемами данных
• Опыт работы с S3 или другими объектными хранилищами
• Понимание CI/CD и процессов разработки
• Умение разбираться в проблемах production-пайплайнов и работать с логами и мониторингом

Условия:

• Оформление в аккредитованную ИТ-компанию
• Конкурентоспособная заработная плата (обсуждается индивидуально)
• ДМС со стоматологией и льготными условиями для членов семьи
• Техника для работы
• График работы 5/2
• Работа в офисе в центре Москвы (ст. м. Савеловская), в Краснодаре или удаленно из других городов РФ, также есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
• Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
• Развитие – оплачиваем обучение на курсах и участие в конференциях
• Возможность проведения и участия в митапах, хакатонах
• Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
• Наличие корпоративной библиотеки курсов
• Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе

Навыки:

• Python
• Apache Spark
• PySpark
• Apache Airflow
• SQL
• Kubernetes
• Docker
• S3
• Delta Lake
• CI/CD
• MLOps
• Grafana
• Spark History