Data Engineer в Betera Минск

Data Engineer (Middle) в команду Betera. Построение и оркестрация ELT/ETL-пайплайнов, развитие DWH и аналитических витрин, обеспечение качества данных.

Задачи:

• Разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать ELT/ETL-процессы с использованием Apache Airflow и dbt
• Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping, Google Sheets
• Проектировать и развивать DWH и аналитические витрины на базе Trino / Apache Iceberg в S3
• Обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, Soda / Great Expectations), настраивать мониторинг аномалий и алертинг
• Оптимизировать SQL-запросы и процессы обработки данных, повышать производительность DWH
• Поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы
• Вести техническую документацию по архитектуре данных, слоям DWH и интеграциям

Требования:

• От 3 лет опыта в Data Engineering
• Уверенное знание SQL: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов
• Уверенное владение Python для задач Data Engineering: работа с API, библиотеками обработки данных и написание скриптов автоматизации
• Практический опыт построения и оркестрации пайплайнов в Apache Airflow
• Практический опыт работы с dbt: модели, макросы, тесты
• Понимание принципов проектирования DWH и построения слоев данных; знание подходов Data Vault, Kimball / Inmon
• Практический опыт настройки проверок Data Quality
• Базовые навыки работы с Docker и Git

Условия:

• Конкурентная заработная плата, а также бонусы
• График 5/2 с 10:00 до 18:00 и гибридный формат работы после испытательного срока
• 5 Days Off и 16 Hours off для решения личных дел в рабочее время
• Современный офис около метро в БЦ "Футурис" с зонами отдыха, массажным креслом, настольным теннисом, бильярдом, PS, скалодромом и настольными играми
• Оплата внешнего обучения для повышения hard skills, а также внутренняя база для обучения
• Компенсация транспорта: проездной на общественный транспорт, такси или топливо
• Компенсация медицинской страховки и занятий спортом, бесплатный шеринг велосипедов и билеты на спортивные мероприятия
• Участие в насыщенной корпоративной жизни за счет компании
• Возможность присоединиться к волонтерским проектам

Навыки:

• SQL
• Python
• Apache Airflow
• dbt
• REST API
• Kafka
• Web Scraping
• Google Sheets
• Trino
• Apache Iceberg
• S3
• Soda
• Great Expectations
• Data Vault
• Kimball
• Inmon
• Docker
• Git
• AWS S3
• Delta Lake
• Presto
• ClickHouse
• Project Nessie
• Apache Polaris
• AWS Glue
• PySpark
• Kubernetes
• KubernetesPodOperator
• Apache Superset
• Power BI
• Tableau