В чем разница между Kafka и RabbitMQ

Kafka и RabbitMQ — это брокеры сообщений, но с разными подходами к обработке данных:

• RabbitMQ — классический message broker, работает по модели очередей (point-to-point) и publish-subscribe. Подходит для задач, где важны гарантии доставки, гибкость маршрутизации (exchanges, routing keys) и относительно низкие нагрузки. Пример:

channel.basic_publish(exchange='logs', routing_key='', body='Hello World!')

• Kafka — распределённый log-ориентированный брокер, оптимизирован для потоковой обработки больших объёмов данных с высокой пропускной способностью. Сообщения хранятся долго, поддерживается повторное чтение (consumer groups). Пример:

producer.send('topic', value={'key': 'value'})

Ключевые отличия:

1. Производительность: Kafka обрабатывает миллионы сообщений в секунду, RabbitMQ — десятки тысяч.
2. Хранение: Kafka хранит сообщения долго (дни/недели), RabbitMQ удаляет после доставки.
3. Модель: RabbitMQ — «умный брокер, глупые потребители», Kafka — «простой брокер, умные потребители».
4. Гарантии: RabbitMQ гарантирует доставку, Kafka — at-least-once/exactly-once семантику.

Выбор зависит от задачи: RabbitMQ для сложной маршрутизации и RPC, Kafka — для big data и стриминга.