Data Engineer (ClickHouse / Airflow / Python) в Emphasoft Санкт-Петербург

Приглашаем Data Engineer присоединиться к проекту миграции BI-отчетности с Microsoft Power BI на Yandex DataLens.

Предстоит построить новый контур хранения и обработки данных: организовать загрузку данных из Microsoft SQL Server в ClickHouse, автоматизировать ETL/ELT-процессы, подготовить витрины данных для новой BI-платформы и обеспечить соответствие показателей существующей отчетности.

Если вам интересно строить современные хранилища данных, работать с ClickHouse и участвовать в масштабной миграции BI-платформы — будем рады познакомиться.

• Разрабатывать ETL/ELT-процессы для загрузки данных из Microsoft SQL Server в ClickHouse.
• Проектировать и реализовывать многослойное хранилище данных (Raw → Core → Data Mart).
• Разрабатывать SQL-скрипты для преобразования и подготовки данных.
• Создавать Python-компоненты для интеграции и обработки данных.
• Разрабатывать и сопровождать DAG в Apache Airflow.
• Оптимизировать производительность ClickHouse (структуры таблиц, партиционирование, запросы).
• Настраивать инкрементальные загрузки, обработку ошибок, повторные запуски и мониторинг ETL-процессов.
• Подготавливать витрины данных для построения отчетности в Yandex DataLens.
• Анализировать существующую логику Power BI и участвовать в переносе расчетов на уровень хранилища данных.
• Проводить сверку данных между исходной и новой BI-системами.

• Опыт работы Data Engineer от 4 лет.
• Отличное знание SQL.
• Практический опыт работы с ClickHouse.
• Опыт разработки ETL/ELT-процессов.
• Хорошее знание Python для обработки и интеграции данных.
• Опыт работы с Apache Airflow (разработка DAG, зависимости, мониторинг).
• Опыт работы с Microsoft SQL Server.
• Понимание принципов построения DWH (Raw, Core, Data Mart).
• Опыт реализации инкрементальных загрузок.
• Опыт работы с Git.

• Yandex Cloud.
• Yandex Data Transfer.
• Yandex DataLens.
• Power BI.
• Power Query.
• DAX.
• Опыт миграции BI-отчетности.
• Опыт работы с большими объемами данных.