Что такое Kafka

Apache Kafka — это распределённая потоковая платформа для обработки событий в реальном времени. Она работает как брокер сообщений, но с высокой пропускной способностью, отказоустойчивостью и горизонтальной масштабируемостью.

Ключевые понятия:

• Топики (Topics) — логические каналы для сообщений (например, orders, logs).
• Партиции (Partitions) — топики делятся на партиции для параллельной обработки.
• Producer/Consumer — отправители и получатели сообщений.
• Брокеры (Brokers) — серверы Kafka, хранящие данные.

Пример отправки сообщения (Java):

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
producer.send(new ProducerRecord<>("test-topic", "key", "Hello Kafka!"));
producer.close();

Используется для логов, аналитики, микросервисной коммуникации и CDC (Change Data Capture).