Что такое Kafka

Apache Kafka — распределённая система обмена сообщениями, работающая по принципу публикации-подписки. Она предназначена для обработки потоков данных в реальном времени, обеспечивая высокую пропускную способность и отказоустойчивость.

Ключевые компоненты:

• Топики (Topics) — категории/потоки сообщений.
• Партиции (Partitions) — топики делятся на партиции для параллельной обработки.
• Producer — отправляет сообщения в топики.
• Consumer — читает сообщения из топиков.
• Broker — сервер Kafka, хранящий данные.

Пример отправки сообщения:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<>("my_topic", "key", "value"));
producer.close();

Kafka часто используется для логгирования, стриминга данных и интеграции микросервисов.