如何在 Apache Kafka 中进行扇出？

Question

我需要向所有消费者发送消息，但在检测谁应该收到此消息之前，如何使用 Kafka 做到这一点？

我应该使用 Kafka 流来过滤数据然后发送给消费者吗？据我所知，每个消费者都应该添加到唯一的消费者组中，但是如何实时检测谁必须接收消息？

Answer 1

Kafka 将消费者和生产者解耦，当您写入主题时，您不知道哪些消费者可能会读取数据。

因此，在 Kafka 中，你永远不会“向消费者发送消息”，你只需将消息写入主题即可。

消费者只是阅读主题。因此，您只需要启动多个消费者（没有消费者group.id，或不同的消费者group.id配置），每个消费者将读取所有数据，从而进行扇出。