使用kafka的双向消息传递系统

Question

有可能使用apache kafka开发双向消息传递系统吗？我需要从消费者那里订阅主题，也需要从消费者那里发送消息。

Answer 1

您可以通过以下两种方式之一进行操作。要么为消息键设置前缀系统，要么将内容放入消息中，以允许消费者避免其生成的消息。

至于要不要这样设计，那就要看你的消息流量了。如果您不使用事件来猛击它，那么最好考虑像 Thrift 这样的东西作为让消息组件进行双向通信的一种方式。相对于其复杂性，Kafka 真正擅长的地方是当您需要生成和使用大量数据时。您可能并非如此。

例如，Kafka 的一个常见用例是将其连接到 Storm、Apex 或 Samza 等服务，以对数百 GB 甚至 TB 的数据进行分布式处理。如果您的系统具有高吞吐量要求，那么该架构将是一个很好的选择，可以考虑将其作为 Kafka 处理消息的起点。使用 Storm，如果您需要发回消息进行重新处理，您始终可以使用 Kafka Bolt 将消息重新发布到 Kafka，以确保它得到完全重新处理。