hdfs日志文件太大了

不是p*_*phd 7 hadoop hdfs

经过对hdfs的大量读写操作后,(我不知道导致这个问题的确切操作).这两个文件: dncp_block_verification.log.curr,dncp_block_verification.log.prev 每个超过200 000 000 000字节.

什么操作hdfs可能会导致这些文件快速增长?

从互联网上我知道我可以击落hdfs并删除日志,但这不是一个好的解决方案.如何避免这个问题?非常感谢你

小智 4

块扫描仪是导致文件增长的原因。以下是解释该行为的文章的链接: http://aosabook.org/en/hdfs.html(第 8.3.5 节)。

导致此问题的错误已在 HDFS 2.6.0 中修复