Как гарантируется, что сообщение не обработается дважды в Kafka

В Kafka гарантия однократной обработки (exactly-once) достигается комбинацией механизмов:

1. Идемпотентность продюсера
   Позволяет избежать дублирования сообщений при ретраях:
   java

   Копировать

   props.put("enable.idempotence", "true");

2. Транзакции
   Атомарные операции "прочитал-обработал-записал":

   java

   Копировать

   producer.initTransactions();
   producer.beginTransaction();
   producer.send(record);
   producer.commitTransaction();

3. Read-Process-Write цикл
   Оффсеты хранятся в той же транзакции, что и выходные данные.

Нюансы:

• Требует Kafka ≥ 0.11
• Увеличивает накладные расходы
• Работает только в рамках одного приложения
• Для распределенных систем нужны дополнительные механизмы (например, двухфазные коммиты)