Middle+/Senior Data Engineer в TG @itworkhubchannel удалённо

Data Engineer в проект крупной розничной сети: построение и оптимизация продвинутых ETL/ELT-пайплайнов, внедрение Data Vault 2.0 и современных практик Data Engineering. Аутстаффинговая позиция на 24 месяца с возможностью пролонгации.

Задачи:

• Создание и развитие Spark-пайплайнов, включая Structured Streaming
• Проектирование модульных и динамических DAG в Airflow: кастомные операторы, сенсоры, хуки
• Построение слоистой модели в dbt (staging, intermediate, marts): incremental-модели, snapshots, макросы, Slim CI
• Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных
• Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем под нагрузку
• Настройка CI/CD-процессов в GitLab (dev, stage, prod; runners, approvals)
• Внедрение DQ-фреймворков (например, Great Expectations), метрик качества данных и алертов
• Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub
• Составление и контроль дата-контрактов

Требования:

• Опыт в data-инжиниринге от 4 лет
• Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, тесты, профилирование
• Продвинутые навыки работы со Spark: оптимизация и тюнинг задач, анализ планов выполнения и логов
• Глубокое понимание SQL: EXPLAIN и планы выполнения, индексы, особенности разных СУБД
• Администрирование СУБД: партиционирование, шардирование, репликация, бэкапы, миграции, блокировки и уровни изоляции
• Опыт работы с Airflow: XCom, пулы и SLA, KubernetesPodOperator
• Высокий уровень владения dbt
• Практический опыт с Kubernetes и Docker, оптимизация контейнерных образов
• Работа с S3: lifecycle-правила и версионирование объектов
• Git: rebase, cherry-pick, версионирование релизов
• Создание дашбордов и алертов в Grafana или аналогах

Условия:

• Удалённый формат работы
• Часовой пояс UTC+3 (МСК)
• Full-time, полная занятость
• Срок привлечения 24 месяца с возможностью пролонгации
• Ставка обсуждается
• Гражданство РФ

Навыки:

• Python
• Spark
• Structured Streaming
• Airflow
• dbt
• Data Vault 2.0
• SQL
• Kubernetes
• Docker
• S3
• Parquet
• Iceberg
• GitLab CI/CD
• Git
• Great Expectations
• Cube
• MetricFlow
• DataHub
• Grafana
• Delta Lake