Data Engineer real-time в PARI Москва

Ищем Data Engineer в команду управления данными для проектирования и развития отказоустойчивых пайплайнов потоковой обработки данных в real-time, влияющих на скорость и качество решений внутренних команд.

Задачи:

• Проектировать, разрабатывать и поддерживать высоконагруженные пайплайны для обработки потоковых данных в режиме real time
• Развивать процессы для обработки данных и передачи результатов в целевые системы и внешние API
• Настраивать интеграции в связке Kafka, Flink и ClickHouse, обеспечивая стабильное движение данных между источниками и потребителями
• Очищать, фильтровать, трансформировать и обогащать сырые потоки данных для создания качественных витрин и датасетов
• Проектировать быстрые витрины с минутными и другими оперативными срезами для аналитических и ML-сценариев
• Оптимизировать существующие потоковые и пакетные процессы, повышая их производительность, надежность и масштабируемость
• Разрабатывать переиспользуемые модули, шаблоны и кастомные расширения для ускорения запуска новых процессов обработки данных
• Внедрять механизмы мониторинга, логирования и проверки целостности данных на всех этапах их движения
• Анализировать сбои и узкие места, находить причины проблем и повышать отказоустойчивость real-time-инфраструктуры
• Участвовать в code review и поддерживать единые инженерные стандарты внутри команды

Требования:

• Коммерческий опыт построения и оптимизации высоконагруженных систем потоковой обработки данных от 3-х лет
• Уверенная работа с Apache Kafka и понимание принципов построения решений на базе брокеров сообщений
• Практический опыт работы с Apache Flink на уровне самостоятельной разработки и оптимизации production-процессов от 2-х лет
• Хорошее знание ClickHouse и понимание, какие движки и архитектурные подходы использовать для обработки real-time-данных
• Уверенное владение Python и умение писать поддерживаемый production-код
• Опыт работы с Airflow и понимание принципов оркестрации процессов
• Умение интегрировать стриминговые решения, брокеры сообщений, API и хранилища данных в единый технологический контур
• Опыт проектирования решений с учетом масштабирования, производительности, стабильности и отказоустойчивости
• Умение настраивать мониторинг, логирование, алертинг и проверки качества данных
• Опыт разработки переиспользуемых модулей, внутренних библиотек или шаблонов для ускорения запуска новых пайплайнов
• Участие в code review и умение аргументированно предлагать улучшения в архитектуре и коде

Условия:

• Сложные real-time-задачи
• Технологичная среда
• Свобода превращать экспертизу в решения, которыми пользуются аналитики, ML-специалисты и продуктовые команды

Навыки:

• Apache Airflow
• Apache Flink
• ClickHouse
• SQL
• Python
• Apache Kafka