Опубликовано 14 дней назад

Data Engineer в 2ГИС удалённо

удаленно

не указана

Сопроводительное письмо под эту вакансию

Софи напишет его под твоё резюме. Бесплатно — 5 писем в день.

Data Engineer в команду SMT компании 2ГИС. Разработка с нуля MVP дата-платформы, миграция пайплайнов с Hadoop на новую архитектуру, построение отказоустойчивых пайплайнов и витрин данных.

Задачи:

Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform.
Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
Работать с большими объёмами данных и высоконагруженными Kafka-топиками.
Строить отказоустойчивые пайплайны обработки и доставки данных.
Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).

Навыки: