Senior Big Data Engineer (Data Platform) в Lamoda Tech удалённо

Senior Big Data Engineer в команду Data Platform Lamoda Tech. Разработка и развитие платформы данных электронной коммерции нового поколения, проектирование ETL-пайплайнов и хранилищ.

Задачи:

• Разрабатывать и совершенствовать платформу данных электронной коммерции нового поколения
• Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino
• Оптимизировать действующие пайплайны и джобы на Spark, мониторить нагрузку на кластер и оптимальность затрачиваемых ресурсов
• Взаимодействовать с аналитиками и ML специалистами для создания и развертывания инструментов и наборов данных
• Поддерживать регулярные связи с data ops для развития дата-платформы
• Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ)
• Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры
• Решать задачи, связанные с внедрением облачной инфраструктуры, разрабатывать новую архитектуру хранилища
• Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде

Требования:

• Kubernetes — понимание ресурсной модели, просмотр конфигураций, troubleshooting
• Опыт работы с Hadoop (HDFS, Hive Metastore)
• Опыт работы со Spark (spark SQL, streaming, понимание нюансов работы с pyspark)
• Apache Iceberg — владение процедурами, snapshots, maintenance
• Глубокое понимание Airflow (2, 3) — идемпотентность, assets, backfills
• Уверенное знание Git, CI/CD
• Python, Scala/Java — ООП, проектирование библиотек, интеграционные/юнит тесты
• Хорошее понимание СУБД, SQL
• Опыт работы: 3–6 лет

Условия:

• Полная занятость
• График: 5/2
• Формат работы: удалённо или гибрид

Навыки:

• Kubernetes
• Hadoop
• HDFS
• Hive Metastore
• Spark
• PySpark
• Apache Iceberg
• Airflow
• Git
• CI/CD
• Python
• Scala
• Java
• SQL
• Docker
• Kafka
• Yandex Cloud
• ClickHouse
• Trino
• LLM
• RAG