从主题中的特定分区流式传输(Kafka Streams)

Pur*_*ple 6 apache-kafka apache-kafka-streams

据我阅读 Kafka Streams 文档后的理解,不可能将它用于仅来自给定主题的一个分区的流数据,人们总是必须完整阅读它。

那是对的吗?

如果是这样,将来是否有计划为 API 提供这样的选项?

ppa*_*rno 5

不,您不能这样做,因为内部使用者订阅了加入通过 application-id 指定的使用者组的主题,因此会自动分配分区。顺便说一句,你为什么要这样做?如果不重新平衡,您将失去 Kafka Stream 提供的可扩展性功能,因为只需添加/删除流应用程序的实例,您就可以扩展整个过程,这要归功于分区上的重新平衡。

  • 我想拥有这样的功能,因为在某些情况下,我确切地知道我感兴趣的数据在哪个分区。因此,仅从该特定分区流式传输应该会带来更好的性能,因为要过滤掉的数据更少。但感谢您的澄清! (3认同)