Data Engineer в ГУП «Московский метрополитен» Москва

Data Engineer в команду платформы данных для телеметрии автономного транспорта Москвы. Развитие Data Lake/DWH, Spark-пайплайны и интеграции новых источников данных в масштабах петабайт.

Задачи:

• Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
• Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
• Развивать архитектуру Data Lake / DWH
• Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов

Требования:

• Практический опыт разработки и сопровождения пайплайнов данных
• Опыт работы с PySpark, Python и SQL
• Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
• Понимание принципов распределённой обработки данных

Условия:

• Трудоустройство и работа в соответствии с ТК РФ
• Компенсация проезда в пригородных электропоездах
• Льготы на отдых в оздоровительном комплексе метрополитена
• Детский оздоровительный лагерь и детский клуб
• Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата

Навыки:

• SQL
• Python
• DWH
• PySpark
• Spark
• Trino
• S3
• Airflow
• Data Vault 2.0
• Scala
• ETL
• ELT
• Data Lake