Data Engineer в TG @datajobschannel Москва

Data Engineer в команду платформы данных для телеметрии автономного транспорта Москвы. Разработка Spark-пайплайнов, интеграций и архитектуры Data Lake/DWH в масштабах петабайт.

Задачи:

• Разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества данных
• Подключать новые источники данных: разрабатывать интеграции с системами и обеспечивать надёжную загрузку в хранилище
• Развивать архитектуру Data Lake / DWH
• Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов

Требования:

• Практический опыт разработки и сопровождения пайплайнов данных
• Опыт работы с PySpark, Python и SQL
• Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
• Понимание принципов распределённой обработки данных

Условия:

• Участие в развитии платформы данных для телеметрии автономного транспорта Москвы (трамваи и метро)
• Работа с большими данными в масштабах петабайт

Навыки:

• PySpark
• Python
• SQL
• Data Lake
• DWH
• ETL
• ELT
• Spark
• Trino
• S3
• Airflow
• Data Vault 2.0
• Scala