Senior Big Data Engineer в Lamoda Москва

Senior Big Data Engineer в Lamoda. Работа с большими данными: Hadoop, Spark, Iceberg, Airflow, Kubernetes, разработка и поддержка пайплайнов.

Задачи:

• Разработка и поддержка пайплайнов обработки больших данных
• Работа с Hadoop (HDFS, Hive Metastore)
• Работа со Spark (Spark SQL, streaming, PySpark)
• Работа с Apache Iceberg (процедуры, snapshots, maintenance)
• Настройка и поддержка Airflow (2, 3)
• Работа с Kubernetes
• Проектирование библиотек и написание интеграционных/юнит-тестов

Требования:

• Понимание ресурсной модели Kubernetes, просмотр конфигураций, troubleshooting
• Опыт работы с Hadoop (HDFS, Hive Metastore)
• Опыт работы со Spark (Spark SQL, streaming, понимание нюансов работы с PySpark)
• Владение Apache Iceberg: процедуры, snapshots, maintenance
• Глубокое понимание Airflow (2, 3): идемпотентность, assets, backfills
• Уверенное знание Git, CI/CD
• Python, Scala/Java: ООП, проектирование библиотек, интеграционные/юнит-тесты

Условия:

• Фултайм
• Офис (МСК)
• Зарплата по итогам собеседования (ср. рын. зп 300 000 ₽ – 420 000 ₽)

Навыки:

• Kubernetes
• Hadoop
• HDFS
• Hive Metastore
• Spark
• Spark SQL
• PySpark
• Apache Iceberg
• Airflow
• Git
• CI/CD
• Python
• Scala
• Java
• ООП