Data Engineer в Облако.ру удалённо

Data Engineer для проектирования и развития data-пайплайнов обработки событий кибербезопасности, оптимизации аналитического хранилища и эксплуатации data-сервисов в Kubernetes.

Задачи:

• Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности
• Нормализация и обогащение событий безопасности
• Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги)
• Подготовка витрин данных под быстрые запросы и аналитику
• Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование
• Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill)
• Участие в разборе инцидентов и оптимизации производительности data платформы

Требования:

• Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде
• Уверенный SQL, включая оптимизацию запросов и анализ производительности
• Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги)
• Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок)
• Опыт проектирования и оптимизации витрин и схем хранения данных
• Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде
• Понимание принципов надежности, масштабирования и наблюдаемости data систем

Навыки:

• SQL
• ClickHouse
• StarRocks
• Druid
• Pinot
• Kubernetes
• ETL
• ELT
• streaming