kafka日志+如何限制日志大小

Question

在我的 ambari 集群中（版本 2.6）

我们有master机器和workers机器，而kafka安装在master机器上

分区 /data 只有15G ，kafka 日志文件夹是 - /data/var/kafka/kafka-logs

/data/var/kafka/kafka-logs 下的大多数文件夹大小为 4K-40K

但是两个文件夹的大小非常大 - 5G-7G ，这导致/data为 100%

例子：

在/data/var/kafka/kafka-logs/mmno.aso.prpl.proces-90下

12K     00000000000000000000.index
1.0G    00000000000000000000.log
16K     00000000000000000000.timeindex
12K     00000000000001419960.index
1.0G    00000000000001419960.log
16K     00000000000001419960.timeindex
12K     00000000000002840641.index
1.0G    00000000000002840641.log
16K     00000000000002840641.timeindex
12K     00000000000004260866.index
1.0G    00000000000004260866.log
16K     00000000000004260866.timeindex
12K     00000000000005681785.index
1.0G    00000000000005681785.log

是否可以限制日志的大小？或其他解决方案？我们的/data很小，需要的日志不应该是1G大小，如何解决？

Answer 1

Kafka 有许多代理/主题配置来限制日志的大小。尤其：

• log.retention.bytes：删除前日志的最大大小
• log.retention.hours：删除日志文件之前保留日志文件的小时数

请注意，这些不是硬性界限，因为删除发生在每个段中，如： http: //kafka.apache.org/documentation/#impl_deletes中所述。这些也是每个主题的。但通过设置这些，您应该能够控制数据目录的大小。

// configs的完整列表请参见http://kafka.apache.org/documentation/#brokerconfigslog.retention.*log.roll.*log.segment.*