Data Engineer (Python / PySpark / Airflow / dbt / Data Vault 2.0) в TG @itworkhubchannel удалённо

Data Engineer в проект крупной розничной сети: построение, развитие и поддержка ETL-пайплайнов и корпоративного хранилища данных на современном стеке PySpark, Airflow, dbt с методологией Data Vault 2.0. Аутстаффинговая позиция, full-time, удалённо, UTC+3.

Задачи:

• Создание и развитие ETL-пайплайнов с использованием Python и PySpark
• Поддержка и доработка DAG в Apache Airflow: анализ логов, устранение типовых сбоев, выполнение backfill
• Разработка dbt-моделей, а также сопутствующих тестов и документации
• Обслуживание сущностей Data Vault 2.0 (в части Satellite)
• Взаимодействие с хранилищем S3 (через boto3) и реляционными/колоночными СУБД
• Выполнение базовых проверок качества данных: контроль NULL-значений, проверка уникальности ключей и корректности типов
• Фиксация технических метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга

Требования:

• Не менее 2 лет опыта в роли Data Engineer
• Уверенное владение Python: синтаксис, основы ООП, написание ETL-скриптов с применением готовых библиотек, навыки отладки
• Знание PySpark: работа с DataFrames API, понимание разницы между Action и Transformation, базовые представления об архитектуре Spark
• Навыки работы с SQL: построение JOIN, использование агрегаций и оконных функций, базовое понимание работы индексов
• Опыт работы с СУБД: PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL (понимание реляционной модели и принципов ACID), базовые знания NoSQL
• Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, а также ключевых принципов Data Vault 2.0
• Опыт в Airflow: настройка DAG, расписаний, операторов и сенсоров, работа с Connections и Variables, настройка ретраев и алертов
• Владение dbt: создание моделей, источников, использование refs и Jinja, настройка материализаций, seeds и тестов
• Работа с Git и GitLab CI: управление ветками, создание MR, участие в код-ревью, чтение конфигураций .gitlab-ci.yml
• Базовые навыки в Docker: составление Dockerfile, локальная сборка и запуск контейнеров
• Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry, Kibana
• Гражданство РФ

Условия:

• Удалённый формат работы
• Full-time
• Часовой пояс UTC+3 (МСК)
• Срок привлечения: 24 месяца с возможностью пролонгации
• Ставка обсуждается
• Аутстаффинговая позиция

Навыки:

• Python
• PySpark
• Apache Airflow
• dbt
• Data Vault 2.0
• SQL
• PostgreSQL
• ClickHouse
• Greenplum
• Oracle
• MySQL
• NoSQL
• OLTP
• OLAP
• S3
• boto3
• DataHub
• Git
• GitLab CI
• Docker
• Grafana
• Sentry
• Kibana
• Jinja