是否可以禁用某些kafka主题的缓存？

Question

所以我在kafka有一个场景,其中有两个主题:A和B.主题A的消费者在线(需要快速消费数据),主题B的消费者处于离线状态.由于主题B的消费者处于脱机状态,因此我不需要立即缓存与主题B相关的任何消息,并且需要主题A来获取整个缓存.是否可以禁用某些kafka主题的缓存？

编辑:缓存的意思是消息存储在内存中,消费者也在从内存中读取(而不是磁盘).在这种情况下,我希望将与主题A相关的消息缓存在内存中.并且与主题B相关的消息不必缓存在内存中.我想要主题A来使用内存中可以给主题B的空间

Answer 1

您可以禁用特定使用者的缓存:

如果要禁用Kafka使用者的缓存,可以设置spark.streaming.kafka.consumer.cache.enabled为false.

来自[ Spark Streaming + Kafka集成指南 ],我建议您按照它进一步澄清.