Какие могут быть проблемы в Kafka

Проблемы в Kafka:

1. Потеря сообщений – если acks=0 или acks=1, сообщения могут быть потеряны при сбое брокера.
2. Дублирование – при enable.idempotence=false и повторных отправках.
3. Несбалансированные партиции – неравномерное распределение нагрузки.
4. Задержки потребления – из-за медленных консьюмеров или неоптимального fetch.min.bytes.
5. Ограничения пропускной способности – при достижении лимитов сети/диска.

Пример:

// Проблема: дублирование при retries
props.put("enable.idempotence", false); // По умолчанию false → возможны дубли
props.put("acks", "all"); // Минимизирует потери, но снижает производительность

Решение: Включить идемпотентность (enable.idempotence=true) и мониторить lag консьюмеров.