Data Engineer в команду CDP в 2ГИС удалённо

Data Engineer в команду внутренней Customer Data Platform 2ГИС. Задача — строить и развивать batch- и realtime-пайплайны обработки миллиардов событий и влиять на архитектуру платформы.

Задачи:

• Повышать эффективность пайплайнов расчёта daily-признаков на основе batch-процессинга
• Создать эффективный пайплайн расчёта realtime-признаков на основе Kafka-топиков
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей
• Решать сложные инженерные задачи: расчёты метрик, построение витрин
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
• Влиять на архитектурные решения и качество кода
• Работать в распределённой команде с аналитиками, продактами и инженерами других направлений

Требования:

• Опыт работы с highload-системами
• Опыт проектирования архитектуры данных или платформенного кода
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных
• Хорошее понимание Spark и умение с ним работать
• Владение одним из языков программирования (например, Python или Scala)
• Самостоятельность и проактивность
• Желание разбираться в бизнес-логике и создавать продукт

Условия:

• Удалённая работа, полный рабочий день
• Стартап внутри большой компании: свобода в архитектуре и технологиях
• Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций
• Минимум бюрократии, максимум ответственности
• Зарплата и грейд не указаны

Навыки:

• Kafka
• ClickHouse
• Spark
• Python
• Scala
• Airflow
• SQL
• Data Quality
• Data Contracts
• Data Lineage
• Data Catalog
• S3
• Go
• gRPC
• Kubernetes
• PostgreSQL
• TypeScript
• React
• Playwright
• Allure