Kafka Streams - 删除/清除状态存储

Question

我Transformer在kafka-streams DSL的末尾有一个自定义实现,并且KeyValueStore绑定了持久的更改日志.

几个星期以来,我一直在商店里放置太多数据.现在每当我加载应用程序时,它就会占用太多内存.

但是,应用程序本身只是一个原型,所以我不介意完全清理商店.

我可以重命名kafka.application.id,state-store-name但这是一个临时的解决方法(相应的数据/主题不会被删除).

我该如何完全清除它？

Answer 1

Confluent的文档建议使用KafkaStreams.cleanUp(),或手动删除/var/lib/kafka-streams/<application.id>(配置参数state.dir)中的目录.

您还需要使用特殊重置工具重置应用程序使用的所有主题- bin/kafka-streams-application-reset:

bin/kafka-streams-application-reset --application-id my-streams-app \
                                  --input-topics my-input-topic \
                                  --intermediate-topics rekeyed-topic

这篇关于重置国家的帖子非常有趣.