Как можно достичь определенный вид доставки в Kafka

В Kafka можно управлять доставкой сообщений через параметры acks и min.insync.replicas.

1. Гарантированная доставка (надежная):

props.put("acks", "all"); // Ждем подтверждения от всех реплик
props.put("min.insync.replicas", "2"); // Минимум 2 синхронизированные реплики

2. Высокая производительность (рискованная):

props.put("acks", "0"); // Не ждем подтверждения

3. Баланс между надежностью и скоростью:

props.put("acks", "1"); // Ждем подтверждения только от лидера

Также можно использовать идиомы:

• Exactly-once: Включить enable.idempotence=true и транзакции.
• At-least-once: Повторная отправка при ошибках (retries > 0).
• At-most-once: retries = 0.

Пример транзакции:

producer.initTransactions();
producer.beginTransaction();
producer.send(record);
producer.commitTransaction();