Data Engineer в Wildberries удалённо

Data Engineer в команду корпоративного хранилища Wildberries. Обеспечение стабильной работы Data Platform на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование кластеров, настройку коннекторов, оптимизацию производительности и разработку ролевых моделей доступа.

Задачи:

• Обеспечивать стабильную, производительную и безопасную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте
• Настраивать, обновлять, мониторить и тюнить кластера Trino
• Настраивать коннекторы (Iceberg, S3)
• Оптимизировать производительность запросов (resource groups, query analysis)
• Оптимизировать производительность Iceberg (partitioning, clustering, metadata management)
• Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы

Требования:

• Понимание взаимодействия Spark с Iceberg и S3
• Опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)
• Понимание и применение: compaction, expiration snapshots, time travel, schema evolution
• Навыки Linux, Bash, Python для автоматизации
• Опыт управления политиками доступа и правами доступа через Ranger в S3 и Iceberg
• Опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы
• Опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)

Навыки:

• Trino
• Spark
• S3
• Apache Iceberg
• Hive Metastore
• Linux
• Bash
• Python
• Ranger
• Greenplum
• ClickHouse