Как устроен Kafka Topic

Kafka Topic — это логическая сущность, представляющая поток сообщений. Физически он делится на партиции для горизонтального масштабирования.

Ключевые особенности:

• Партиции — упорядоченные неизменяемые последовательности сообщений.
• Репликация — каждая партиция имеет лидера и реплики (follower) для отказоустойчивости.
• Офсеты — уникальные ID сообщений в партиции (гарантируется порядок только в пределах партиции).

Пример создания топика (Kafka CLI):

bin/kafka-topics.sh --create --topic my-topic \
  --partitions 3 --replication-factor 2 \
  --bootstrap-server localhost:9092

Здесь: 3 партиции, каждая с 2 репликами (1 лидер + 1 follower).