我们设置log retention hours为 1 小时如下(之前设置为 72H)
使用以下 Kafka 命令行工具,我们将 kafka 设置retention.ms为1H. 我们的目标是清除主题 - 中早于 1H 的数据test_topic,因此我们使用了以下命令:
kafka-configs.sh --alter \
--zookeeper localhost:2181 \
--entity-type topics \
--entity-name topic_test \
--add-config retention.ms=3600000
Run Code Online (Sandbox Code Playgroud)
并且
kafka-topics.sh --zookeeper localhost:2181 --alter \
--topic topic_test \
--config retention.ms=3600000
Run Code Online (Sandbox Code Playgroud)
两个命令都运行没有错误。
但问题在于 Kafka 数据比 1H 还旧并且仍然存在!
实际上没有从主题topic_test分区中删除数据。我们有 HDP Kafka 集群版本 1.0x 和 ambari
我们不明白为什么关于主题的数据 -topic_test仍然存在?并且即使在我们按照已经描述的方式运行两个 cli 之后也没有减少
以下 kafka cli 有什么问题?
kafka-configs.sh --alter --zookeeper localhost:2181 --entity-type topics …Run Code Online (Sandbox Code Playgroud) apache-kafka ×1