Как устроена Kafka

Kafka — это распределённая система обмена сообщениями, построенная на принципе публикации/подписки (pub/sub). Основные компоненты:

1. Брокер — сервер Kafka, хранящий данные и обрабатывающий запросы.
2. Топик — категория/канал для сообщений (например, user_actions).
3. Партиция — топик делится на партиции для параллельной обработки. Сообщения в партиции упорядочены.
4. Producer — отправляет сообщения в топик.
5. Consumer — читает сообщения из топика.
6. Consumer Group — группа потребителей, совместно обрабатывающих партиции.

Пример отправки сообщения через kafka-python:

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('test_topic', b'Hello, Kafka!')
producer.flush()

Kafka сохраняет сообщения на диск и реплицирует их между брокерами для отказоустойчивости. Сообщения хранятся определённое время (например, 7 дней) или до достижения лимита размера.