Middle Data Engineer (СберAds) в ИЦ АЙ ТЕКО удалённо

Data Engineer в команду СберAds. Проектирование и поддержка data pipeline'ов в облачной среде, оптимизация производительности, Data Quality и DataOps.

Задачи:

• Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline'и в облачной среде
• Тюнинг и оптимизация производительности пайплайнов (эффективный код, работа с горячими точками, распределенные вычисления)
• Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных
• Внедрять и развивать практики Data Quality и DataOps
• Поддерживать и развивать техническую документацию

Требования:

• Опыт работы от 3 лет (обязательно)
• Отличное знание SQL: сложные запросы, оптимизация, чтение execution plans, понимание внутренней работы движка (алгоритмы джойнов, распределение данных, индексы)
• Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark с готовностью работать со Scala-ядром)
• Уверенное знание Apache Spark: архитектура, работа с памятью, оптимизация Spark-задач
• Понимание архитектуры Lakehouse: концепции DWH и Data Lake, слои Raw, Clean, Core, Mart, витрины и агрегаты
• Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками
• Уверенная работа с Git, понимание принципов CI/CD для данных

Условия:

• Полная занятость
• График 5/2
• Формат работы: удалённо, гибрид или офис

Навыки:

• SQL
• Scala
• Python
• PySpark
• Apache Spark
• Lakehouse
• DWH
• Data Lake
• Airflow
• Dagster
• Git
• CI/CD
• Kafka
• Spark Structured Streaming
• Apache Flink
• Apache Iceberg
• Delta Lake
• Hudi
• Kubernetes
• dbt
• Great Expectations