Streaming Data Engineer в CHOICEIT удалённо

Streaming Data Engineer в компанию, разрабатывающую технологические решения для entertainment-индустрии. Развитие современной data-платформы и высоконагруженных систем обработки данных в реальном времени.

Задачи:

• Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных
• Обеспечивать обработку данных в режиме реального времени
• Управлять партиционированием, ключами, гарантиями доставки и эволюцией схем
• Диагностировать и устранять проблемы долгоживущих стриминговых джобов (hot keys, перекос партиций, рост состояния, checkpoints)
• Интегрировать источники данных через CDC (Debezium) и обеспечивать надёжную работу при изменениях схем
• Разрабатывать отказоустойчивые решения с учётом таймаутов, ретраев, backpressure и circuit breakers
• Участвовать в развитии архитектуры data-платформы и предлагать технические решения для повышения надёжности и производительности

Требования:

• Опыт работы с Kafka в production: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка
• Практический опыт CDC (Debezium): понимание WAL/binlog, change-событий, снапшота и стриминговой фазы
• Опыт работы со Schema Registry и управлением совместимостью схем (backward/forward)
• Уверенное знание SQL (агрегации, JOIN, поведение NULL)
• Опыт разработки на Java в production: многопоточность, CompletableFuture, конкурентные коллекции
• Понимание принципов распределённых систем и отказоустойчивости
• Самостоятельность, ответственность за полный цикл (от проектирования до эксплуатации) и умение чётко объяснять технические решения

Условия:

• Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру
• Гибкий формат работы: удалённо, гибридно или из офиса
• Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи
• ДМС со стоматологией после испытательного срока
• Компенсация спорта, английского языка и сессий с психологом
• Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды
• Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности
• Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы

Навыки:

• Kafka
• CDC
• Debezium
• Schema Registry
• SQL
• Java
• Apache Flink
• Spark Streaming
• HyperLogLog