消耗的HDFS空间:"hdfs dfs -du /"vs"hdfs dfsadmin -report"

fac*_*cha 5 hadoop hdfs

哪种工具可以测量消耗的HDFS空间?

当我总结"hdfs dfs -du /"的输出时,与"hdfs dfsadmin -report"("DFS Used"行)相比,我总是消耗更少的空间.是否存在du未考虑的数据?

Ale*_*sov 6

Hadoop 文件系统通过将数据副本放置到多个节点来提供重新标记存储。副本的数量是复制因子,通常大于一。

命令hdfs dfs -du /显示空间消耗您的数据而无需复制。

命令hdfs dfsadmin -report(使用 DFS 行)显示实际磁盘使用情况,同时考虑数据复制。所以从命令获取的数字应该大几倍dfs -ud

  • 更高版本的 hadoop 版本中的“hdfs dfs -du”同时输出(不带复制和带复制的大小) (2认同)