Data Engineer в Локализацию в RWB удалённо

Инженер данных в команду платформы данных для ML-специалистов и продуктовых аналитиков рекомендательных систем. Задача — строить озерное хранилище и полный цикл работы с данными, а не просто перекладывать их между базами.

Задачи:

• Проектировать и строить озерное хранилище на Apache Iceberg с использованием Spark/Trino как compute-движков для объёмов в сотни ТБ
• Настраивать процессы обеспечения качества данных (DQ): валидация, мониторинг, метрики качества
• Внедрять автоматическую генерацию и сопровождение метаданных и описаний данных (data discovery, data catalog, профилирование)
• Проектировать и разворачивать feature store для подготовки и управления признаками
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик
• Применять open source инструменты, полезные команде и потребителям данных

Требования:

• Уверенный Python в контексте Data Engineering, опыт 2+ года
• Глубокое знание SQL: оконные функции, оптимизация запросов, explain-планы
• Опыт работы с оркестраторами данных (Airflow)
• Опыт с Hadoop (Spark / YARN / HDFS)
• Опыт с MPP-системами (Greenplum, ClickHouse, Redshift и аналоги)
• Опыт с Trino/Presto, DBT, Feature Store, DQ-фреймворками (Great Expectations, Soda или собственные решения)

Условия:

• Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков
• ДМС со стоматологией, корпоративный спорт, консультации психолога, льготы аккредитованной IT-компании
• Сообщества: клуб спикеров, футбол, йога, шахматы
• Поддержка семей сотрудников, гибкий подход
• Скидки и партнёрские программы на обучение, страхование, покупки
• Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника
• Возможна удалённая работа, полный рабочий день

Навыки:

• Python
• SQL
• Apache Airflow
• Greenplum
• Hadoop
• HDFS
• Iceberg
• Trino
• Apache Kafka
• Spark
• ClickHouse
• YARN
• Presto
• DBT
• Feature Store
• Great Expectations
• Soda