Data Engineer в команду CDP в 2Гис удалённо

Data Engineer в команду CDP для работы с highload-системами, потоковой и аналитической обработкой данных, созданием пайплайнов и сервисов.

Задачи:

• Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
• Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
• Решать сложные инженерные задачи: расчеты метрик, построение витрин.
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
• Влиять на архитектурные решения и качество кода.
• Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Требования:

• Опыт работы с highload-системами.
• Опыт проектирования архитектуры данных или платформенного кода.
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
• Хорошо понимает, как работает Spark и умеет его готовить.
• Хорошо владеешь одним из языков программирования (например, Python или Scala).
• Самостоятельность и проактивность — не ждешь постановок, а предлагаешь решения.
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.

Навыки:

• Kafka
• ClickHouse
• Spark
• Python
• Scala