Data Engineer (Senior) в Флаувау удалённо

Senior Data Engineer в команду Data Platform маркетплейса Flowwow. Роль с сильным уклоном в платформенную разработку: проектирование инструментов и фреймворков поверх lakehouse-стека, а не написание пайплайнов по тикетам.

Задачи:

• Развитие ядра платформы: фреймворка Data Vault, обвязки Airflow, lineage-инструментов; проектирование API для других инженеров
• Разработка библиотек и фреймворков на Python: клиентов к источникам данных, инструментов тестирования пайплайнов, оберток над инфраструктурными компонентами
• Обеспечение качества кода через типизацию, тестирование и code review
• Работа с lakehouse-архитектурой: Iceberg maintenance, оптимизация layout'а таблиц, тюнинг Trino, разработка Spark-джоб для тяжелых трансформаций
• Построение интеграций с источниками данных: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы
• Проектирование унифицированных интерфейсов подключения новых источников
• Внедрение AI-инструментов в инженерные процессы: разработка агентов для расследования инцидентов, анализа качества данных, поддержки DAG'ов и code review
• Участие в архитектурных решениях: выбор технологий, проектирование интерфейсов между компонентами, формирование best practices
• Проведение code review и менторинг менее опытных коллег

Требования:

• Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном
• Python на уровне senior разработчика: ООП, проектирование API библиотек, типизация, тесты, опыт написания переиспользуемых компонентов
• Практический опыт с lakehouse-стеком: Apache Iceberg (или Delta/Hudi с готовностью переключиться), устройство таблиц, snapshots, компакция, schema evolution
• Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, работа с коннекторами
• Apache Airflow глубоко: внутреннее устройство (scheduler, executors, метаданные), опыт написания собственных операторов и хуков
• Apache Spark: PySpark, Spark SQL, понимание модели выполнения
• SQL продвинутого уровня: оконные функции, CTE, оптимизация, чтение планов исполнения, работа с большими объёмами
• Уверенное владение Git и CI/CD

Условия:

• Полная занятость
• Оформление: трудовой договор
• График: 5/2
• Удаленный формат работы
• Уровень дохода обсуждается на этапах найма
• ДМС со стоматологией или компенсация на медицинское обслуживание, сервис психологической поддержки
• Компенсация расходов на спорт или покупку спортивного оборудования
• Компенсация стоимости техники для работы
• Оплата обучения, конференций и митапов
• Корпоративная программа лояльности: скидки на Flowwow и предложения от партнеров

Навыки:

• Python
• Apache Iceberg
• Trino
• Apache Airflow
• Apache Spark
• PySpark
• Spark SQL
• Kafka
• Debezium
• Kubernetes
• SQL
• Git
• CI/CD
• Data Vault
• LangGraph
• MCP
• REST
• gRPC