Data Engineer в команду SMT в 2GIS удалённо

Data Engineer в команду SMT для построения корпоративной дата-платформы нового поколения: проектирование архитектуры с нуля, миграция пайплайнов с Hadoop на Spark, Kafka, S3 и ClickHouse.

Задачи:

• Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform
• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse)
• Работать с большими объёмами данных и высоконагруженными Kafka-топиками
• Строить отказоустойчивые пайплайны обработки и доставки данных
• Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных
• Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP)
• Сопровождать миграцию BI-отчётов на новую платформу (DataLens, Power BI)

Требования:

• 3+ лет опыта на позиции Data Engineer / Big Data Engineer
• Хорошее понимание работы Spark и умение его готовить
• Опыт работы с ClickHouse
• Опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий в секунду)
• Знакомство с построением дата-архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance)
• Умение проектировать пайплайны под отказоустойчивость
• Владение одним из языков программирования (например, Python или Scala)
• Знание SQL

Условия:

• Аккредитованная IT-компания
• Можно работать удалённо или в офисах (Москва, Санкт-Петербург, Новосибирск)
• Полностью «белая» зарплата
• ДМС, онлайн-консультации терапевта, невролога, психолога и медицинского агента
• Учебный центр, курсы, тренинги и книги для прокачки скиллов
• Помощь с выступлениями на конференциях и публикациями на Хабре

Навыки:

• SQL
• Apache Spark
• ClickHouse
• Kafka
• S3
• Hadoop
• HDFS
• Python
• Scala
• DWH
• OLAP
• ETL
• DataLens
• Power BI
• Docker
• Kubernetes
• CI/CD