了解kafka log.dirs

Question

我有 Kafka 集群， log.dirs=/data/kafka设置为 server.properties 中的数据目录。由于这些日志占了很大一部分，我的 DATA 分区一直被填满。（谈论主题目录中的二进制日志，如 000000000000000.log）我在文档中读到了有关此参数的信息 （log.dirs 保存日志数据的目录。如果未设置，则使用 log.dir 中的值）

我还没有完全理解其含义此外，它们可以删除吗？应该配置哪些保留？是否建议将其与数据目录分开？谢谢

Answer 1

Kafka 主题是一个或多个 Kafka 分区的逻辑分组。每个 kafka 分区本质上都是磁盘上的（日志）文件。所以你发布kafka的数据只存储在这些文件（日志）中。

log.dirs告诉 kafka 在哪​​里创建这些文件。因此，每当您有一个新分区（通过增加现有主题的分区或完全创建一个新主题）时，您都会在log.dirs中看到新文件。

您不应手动删除此文件夹中的数据。使用log.retention.hours配置 Kafka 应保留数据的时间。