Senior/Middle+ Big Data Engineer (Рекламная платформа) в Lamoda Москва

Инженер данных в команду рекламной платформы Lamoda. Проектирование единой модели данных, витрин в ClickHouse и инфраструктуры для ML и продуктовой аналитики.

Задачи:

• Проектировать единую модель данных рекламной платформы вместе с продуктом и аналитиками
• Строить внешнюю отчетность для рекламодателей: витрины данных в ClickHouse и расчет метрик эффективности рекламных кампаний в NRT и batch режимах
• Развивать инфраструктуру данных для ML задач и продуктовой аналитики рекламной платформы
• Переводить данные и регулярные расчеты рекламной платформы на Lakehouse архитектуру
• Выстраивать взаимодействие с продуктовыми командами: согласовывать источники, форматы и контракты данных
• Обеспечивать качество данных в разных системах, проектировать Data Quality
• Оптимизировать действующие пайплайны на Spark, мониторить нагрузку на кластер и эффективность затрачиваемых ресурсов
• Анализировать и внедрять новые инструменты инжиниринга данных

Требования:

• Уверенное владение Python/Scala/Java
• Глубокое знание Spark и Spark Streaming/Flink
• Понимание внутреннего устройства ClickHouse и умение оптимизировать запросы
• Опыт работы с Data Lake/Lakehouse стеком
• Опыт построения решений для near realtime аналитики
• Хорошее понимание SQL
• Понимание инфраструктуры Apache Kafka

Навыки:

• Python
• Scala
• Java
• Spark
• Spark Streaming
• Flink
• ClickHouse
• Data Lake
• Lakehouse
• SQL
• Apache Kafka