Дата-инженер в Selecty удалённо

Разработка и поддержка ETL/ELT-процессов, пайплайнов загрузки данных, обработчиков на Python/PySpark, оркестрация с Apache Airflow, работа с Kafka, развитие архитектуры DWH/Data Lake.

Задачи:

• Разрабатывать и поддерживать ETL / ELT-процессы
• Строить пайплайны загрузки данных в PostgreSQL и S3
• Разрабатывать обработчики на Python / PySpark
• Оркестрировать потоки данных с помощью Apache Airflow
• Работать с потоковыми данными и интеграциями через Kafka
• Участвовать в развитии архитектуры DWH / Data Lake

Навыки:

• Python
• PySpark
• PostgreSQL
• S3
• Apache Airflow
• Kafka
• ETL
• ELT
• DWH
• Data Lake