Data инженер в SkillStaff Рф/рб

Инженер данных для построения пайплайнов и витрин HR-данных. Требуется опыт работы с Greenplum, ClickHouse, MS SQL Server, ETL/ELT, Kafka, REST API, S3.

Задачи:

• Разработка и поддержка пайплайнов загрузки и трансформации HR-данных
• Интеграция источников (API, Kafka, БД, файловые хранилища)
• Построение витрин и обеспечение их консистентности
• Оптимизация производительности и стоимости обработки данных
• Обеспечение стабильности (обработка сбоев, ретраи, мониторинг)

Требования:

• ETL/ELT пайплайны
• Работа с API
• Обработка больших объемов данных
• SQL на продвинутом уровне: сложные join’ы, оконные функции, оптимизация запросов под большие объемы, понимание планов выполнения
• Практический опыт работы: Greenplum, ClickHouse, MS SQL Server
• Опыт работы с consumer/producer
• Понимание семантики доставки и обработки сообщений
• Уверенная работа с REST API (пагинация, ретраи, обработка ошибок)
• S3-совместимые хранилища: чтение/запись, организация данных, партиционирование
• Самостоятельность и ответственность за результат

Условия:

• Сотрудничество по ИП РФ, РБ СМЗ РБ

Навыки:

• ETL
• ELT
• API
• SQL
• Greenplum
• ClickHouse
• MS SQL Server
• Kafka
• REST API
• S3
• Trino
• DWH
• Airflow