Middle / Senior Data Engineer в TG @itjobsfeed удалённо

Data Engineer уровня middle/senior для построения data lake/lakehouse на AWS с нуля. Работа с потоковой и пакетной обработкой данных, оркестрацией и обеспечением качества и безопасности данных.

Задачи:

• Построение data lake/lakehouse с нуля (Parquet, Iceberg/Delta/Hudi, партиционирование)
• Интеграция MySQL/PostgreSQL, настройка CDC через AWS DMS или аналоги
• Оркестрация пайплайнов (Airflow/MWAA, Step Functions или Dagster)
• Моделирование данных, обеспечение data quality и тестирование
• Обеспечение безопасности и защиты персональных данных: шифрование, row/column-level access, аудит
• Работа с инфраструктурой как код (Terraform/CDK), Git, CI/CD

Требования:

• 4+ года коммерческого опыта в Data Engineering
• Уверенное знание AWS: S3, Glue, Athena, Lake Formation/IAM, Lambda, Step Functions
• Опыт построения data lake/lakehouse с нуля (Parquet, Iceberg/Delta/Hudi, партиционирование)
• Python (PySpark) и продвинутый SQL
• Интеграция MySQL/PostgreSQL, CDC через AWS DMS или аналоги
• Оркестрация: Airflow (MWAA), Step Functions или Dagster
• Моделирование данных, data quality и тестирование
• Безопасность и защита персональных данных: шифрование, row/column-level access, аудит
• Terraform/CDK, Git, основы CI/CD
• Английский B2+

Условия:

• Удалённая работа

Навыки:

• AWS
• S3
• Glue
• Athena
• Lake Formation
• IAM
• Lambda
• Step Functions
• Parquet
• Iceberg
• Delta
• Hudi
• Python
• PySpark
• SQL
• MySQL
• PostgreSQL
• AWS DMS
• Airflow
• MWAA
• Dagster
• Terraform
• CDK
• Git
• CI/CD
• Redshift
• QuickSight
• Power BI
• Tableau
• Superset
• dbt
• Kinesis
• Kafka