Что такое Apache Kafka

Apache Kafka — это распределённая потоковая платформа для обработки событий в реальном времени. Работает как publish-subscribe система, где данные хранятся в топиках (topics) и распределяются по партициям (partitions) для масштабируемости.

Ключевые особенности:

• Высокая пропускная способность и отказоустойчивость (репликация данных)
• Хранение сообщений с настраиваемым временем жизни
• Поддержка горизонтального масштабирования

Пример использования с confluent-kafka:

from confluent_kafka import Producer, Consumer

# Producer
producer = Producer({'bootstrap.servers': 'localhost:9092'})
producer.produce('my_topic', key='key', value='message')
producer.flush()

# Consumer
consumer = Consumer({
    'bootstrap.servers': 'localhost:9092',
    'group.id': 'my_group',
    'auto.offset.reset': 'earliest'
})
consumer.subscribe(['my_topic'])
msg = consumer.poll(1.0)
print(msg.value())

Используется для логов, метрик, стриминга данных и event-driven архитектур.