Senior Data Engineer в Miractal удалённо

Data Engineer в команду платформы данных: развитие потоковой загрузки событий, построение моделей и холодного хранилища, контроль качества данных.

Задачи:

• Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных
• Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников
• Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC
• Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse
• Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков
• Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков
• Участвовать в архитектурных решениях и код-ревью, развивать каталог данных

Требования:

• Опыт в Data Engineering от 4–5 лет
• Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов
• Уверенное знание SQL и Python
• Опыт работы с dbt в продакшене: модели, тесты и CI
• Опыт разработки и эксплуатации DAG в Apache Airflow
• Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ
• Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности
• Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки
• Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git

Условия:

• Конкурентная заработная плата — обсудим после собеседования
• Удалённый формат работы
• График 5/2: с 10:00 до 19:00 или с 11:00 до 20:00
• Мощный рабочий ноутбук
• 100% компенсация больничных
• Корпоративная скидка на изучение английского языка в Skyeng

Навыки:

• ClickHouse
• SQL
• Python
• dbt
• Apache Airflow
• Spark
• Apache Iceberg
• Delta Lake
• Hudi
• S3
• RabbitMQ
• Docker
• Kubernetes
• Git
• PostgreSQL
• 1С
• MS SQL
• Debezium
• CDC
• dlt
• OpenMetadata