Как работает Kafka

Kafka — это распределённый потоковый брокер сообщений, работающий по принципу публикации-подписки (pub-sub). Основные компоненты:

1. Топики (Topics) — логические каналы для сообщений, разделённые на партиции для параллельной обработки.
2. Производители (Producers) — отправляют сообщения в топики.
3. Потребители (Consumers) — читают сообщения из топиков, объединяясь в группы для балансировки нагрузки.
4. Брокеры (Brokers) — серверы Kafka, хранящие данные и обеспечивающие отказоустойчивость через репликацию.

Пример отправки сообщения:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<>("my_topic", "key", "value"));
producer.close();

Особенности:

• Сообщения хранятся определённое время (по умолчанию 7 дней)
• Гарантируется порядок сообщений в пределах партиции
• Поддержка Exactly-Once семантики (EOS)