Data Engineer (Python, Spark) в X5 Tech удалённо

Data Engineer в X5 Tech для развития платформы прогнозирования спроса. Задача — строить и оптимизировать Spark-пайплайны обработки больших объёмов данных и обеспечивать поток данных для моделей Data Science.

Задачи:

• Разрабатывать и оптимизировать Spark-пайплайны обработки данных в масштабе 200+ млн строк в день
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию продаж, акций, цен, остатков, погоды и календарей
• Работать вместе с Data Science, обеспечивая поток данных для моделей
• Развивать платформу прогнозирования спроса

Требования:

• PySpark / Spark SQL, Hadoop, Hive, Trino, S3, ClickHouse, Postgres, Greenplum
• Airflow, Python 3, Docker, YARN или Kubernetes, pytest

Условия:

• Официальное оформление, удалённый или гибридный формат
• ДМС со стоматологией, страхование жизни и здоровья
• Обучение и сертификация за счёт компании
• Скидки в магазинах Х5 и программа Prime-zone
• Премии по результатам работы

Навыки:

• PySpark
• Spark SQL
• Spark
• Hadoop
• Hive
• Trino
• S3
• ClickHouse
• Postgres
• Greenplum
• Airflow
• Python
• Docker
• YARN
• Kubernetes
• pytest