Data Engineer в Cloud.ru Москва

Data Engineer в команду кибербезопасности Cloud.ru: проектирование и развитие data-пайплайнов для обработки событий безопасности, оптимизация аналитического хранилища и эксплуатация сервисов в Kubernetes.

Задачи:

• Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности
• Нормализация и обогащение событий безопасности
• Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги)
• Подготовка витрин данных под быстрые запросы и аналитику
• Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование

Требования:

• Опыт построения с нуля DWH или Data lake
• Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде
• Уверенный SQL, включая оптимизацию запросов и анализ производительности
• Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги)
• Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде

Навыки:

• SQL
• ClickHouse
• StarRocks
• Druid
• Pinot
• Kubernetes
• ETL
• ELT
• DWH
• Data Lake