Kafka Streams:是否可以对状态存储进行“压缩,删除”策略?

xma*_*mar 5 apache-kafka apache-kafka-streams

默认情况下,Kafka Streams 状态存储是“紧凑的”。是否可以在状态存储中使用保留策略设置“压缩,删除”?

Mat*_*Sax 7

是的,可以使用保留和压缩来配置主题,并且 Kafka Streams 将此设置用于 windowed KTables。

如果你真的想设置这个,你可以在创建后手动更新相应的更改日志主题配置。

但是,为变更日志主题设置主题保留时间只会从主题中删除数据。本地状态存储中的数据不会被删除。State store 不提供 TTL 并且 RocksDBs TTL 设置无法启用(出于我们希望最终解决的技术原因)。

如果你想干净地删除数据,你应该使用墓碑消息从存储中删除数据以及更改日志主题(而不是使用保留时间)。