Data Engineer Middle+/Senior в ggsel удалённо

Data Engineer в команду маркетплейса цифровых товаров ggsel. Отвечает за построение и поддержку ETL/ELT-пайплайнов, оптимизацию хранилища на ClickHouse и надёжность данных.

Задачи:

• Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse
• Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных
• Построение слоёв данных с использованием dbt
• Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий
• Тюнинг ClickHouse: настройка схем таблиц под бизнес-запросы, устранение узких мест
• Оптимизация SQL-запросов для снижения нагрузки на БД
• Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O
• Контроль стоимости хранения
• Обеспечение отказоустойчивости: настройка репликации и бэкапов
• Мониторинг состояния пайплайнов и баз данных
• Оперативное реагирование на инциденты

Требования:

• Глубокое знание ClickHouse: семейство движков MergeTree, выбор ключей партиционирования и сортировки
• Оптимизация запросов: чтение планов запросов, оптимизация потребления памяти, Materialized Views и проекции
• Администрирование ClickHouse: шардирование и репликация, управление TTL, мониторинг слияний
• Оркестрация сбора данных через Apache Airflow
• Опыт работы с dbt для построения слоёв данных
• Python: разработка ETL-скриптов, работа с Pandas, интеграция с API
• SQL на уровне эксперта: аналитические запросы, оптимизация
• Docker для развертывания ClickHouse, Git

Условия:

• Удаленная работа из любой точки мира
• Конкурентная зарплата + performance премия 2 раза в год
• Гибкий график и фокус на результат
• Оплата обучения, курсов и конференций
• Возможность реально влиять на продукт и команду

Навыки:

• ClickHouse
• PostgreSQL
• Apache Airflow
• dbt
• Python
• Pandas
• SQL
• Docker
• Git
• ETL
• ELT
• DWH