Middle Data Engineer в Data Smart Solutions LLC удалённо

Middle Data Engineer для создания и развития R&D-хранилища данных на базе AWS. Нужен опыт с SQL, Redshift, ETL/ELT и оркестрацией пайплайнов.

Задачи:

• Проектирование и разработка ETL/ELT-пайплайнов с использованием AWS-сервисов
• Обработка данных с помощью S3, EMR/Spark и Redshift
• Внедрение CDC и инкрементальных загрузок данных
• Создание и поддержка DAG-ов в Airflow
• Внедрение проверок схемы данных и контроля качества
• Участие в обсуждениях архитектуры и требований
• Ревью кода и улучшение существующих пайплайнов

Требования:

• Сильный SQL и опыт работы с Amazon Redshift (COPY, MERGE/upserts, staging/final tables)
• Опыт с AWS S3 и приёмкой данных на основе Parquet
• Опыт с AWS EMR и Apache Spark
• Понимание AWS DMS, CDC, полных и инкрементальных загрузок
• Опыт с Apache Airflow и оркестрацией DAG
• Опыт в хранилищах данных, моделировании данных и архитектуре данных
• Понимание контрактов данных, валидации схем и качества данных
• Способность самостоятельно проектировать и сдавать production-ready пайплайны
• Хорошие практики code review, PR и разработки ПО

Условия:

• Полная удалённая работа
• Современный AWS-стек для работы с данными
• Международные проекты по инженерии данных
• Возможность построить хранилище данных с нуля
• Профессиональный рост и техническая ответственность
• Работа в команде опытных инженеров данных

Навыки:

• SQL
• Amazon Redshift
• AWS S3
• Parquet
• AWS EMR
• Apache Spark
• AWS DMS
• CDC
• Apache Airflow
• DAG