不同的Kafka主题可以有不同的保留长度吗？

Question

我希望有一个主题(日志保留7天)和几个较小的主题,过滤的语料库具有较小的日志保留(2天).这可能吗？

注意:我正在使用Kafka v0.10.1.1.

Answer 1

log.retention.ms,其默认值为7天,在所有主题的全局级别,而您可以retention.ms在创建主题时使用主题级配置覆盖它,如下所示:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test 
--partitions 1 --replication-factor 1 --config retention.ms=172800000

Answer 2

log.retention.hours是代理的属性，在创建主题时用作默认值。使用kafka-topics.sh更改当前正在运行的主题的配置时，应指定主题级别的属性。

日志保留时间的主题级属性为tention.ms。

从Kafka 0.10.1文档中的主题级别配置中：

属性：retention.ms默认值：7天服务器默认属性：log.retention.minutes说明：如果使用“删除”，此配置控制在我们将丢弃旧日志段以释放空间之前保留日志的最长时间。保留政策。这表示有关消费者必须多长时间读取数据的SLA。所以正确的命令是

$ bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic as-access --config retention.ms=172800000 您可以使用以下命令检查配置是否正确应用。

$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic as-access 然后，您将看到类似下面的内容。

Topic:as-access PartitionCount:3 ReplicationFactor:3 Configs:retention.ms=172800000