Data Engineer Middle/Senior в Holyweb удалённо

Data Engineer в сервисную IT-компанию Holyweb на один из проектов. Проектирование и сопровождение ETL/ELT-пайплайнов, работа с DWH/Data Lake/Lakehouse и большими объёмами данных.

Задачи:

• Проектирование, разработка и сопровождение ETL/ELT-пайплайнов
• Разработка потоков загрузки и трансформации данных между источниками, DWH/Data Lake/Lakehouse и витринами
• Оптимизация SQL-запросов, структур БД и производительности пайплайнов
• Работа с большими объёмами данных, форматами хранения и слоями raw / processed / curated
• Поддержка продуктивных процессов: мониторинг, разбор инцидентов, актуализация документации

Требования:

• Опыт работы Data Engineer от 3 лет (Middle), 5 лет (Senior)
• Уверенный SQL: сложные запросы, CTE, оконные функции, оптимизация, работа с DDL/DML
• Опыт разработки и сопровождения ETL/ELT-пайплайнов в продакшене
• Опыт работы со стеком Big Data / DWH / Lakehouse: Spark, Hadoop, Kafka, S3/S3-like, Airflow
• Опыт работы с реляционными и аналитическими БД: PostgreSQL / Greenplum / ClickHouse / Oracle / MySQL
• Опыт обработки больших объёмов данных, работы с форматами Parquet / ORC / Avro
• Уверенный Python, опыт разработки трансформаций и автоматизации обработки данных
• Опыт работы с Git, Jira/Confluence, понимание CI/CD

Условия:

• Неизбежное развитие профессиональных навыков
• Работа над высоконагруженными активно развивающимися сервисами с ветвистой бизнес-логикой и множеством инженерных вызовов
• Возможность предложить и реализовать свою идею по улучшению сервиса или новую функциональность
• Работа в аккредитованной IT-компании
• Возможность работать удалённо
• Бонусная программа HolyRelax
• Конкурентоспособная ЗП

Навыки:

• SQL
• ETL
• ELT
• Spark
• Hadoop
• Kafka
• S3
• Airflow
• PostgreSQL
• Greenplum
• ClickHouse
• Oracle
• MySQL
• Parquet
• ORC
• Avro
• Python
• Git
• Jira
• Confluence
• CI/CD