哪种工具可以测量消耗的HDFS空间?
当我总结"hdfs dfs -du /"的输出时,与"hdfs dfsadmin -report"("DFS Used"行)相比,我总是消耗更少的空间.是否存在du未考虑的数据?
Hadoop 文件系统通过将数据副本放置到多个节点来提供重新标记存储。副本的数量是复制因子,通常大于一。
命令hdfs dfs -du /显示空间消耗您的数据而无需复制。
命令hdfs dfsadmin -report(使用 DFS 行)显示实际磁盘使用情况,同时考虑数据复制。所以从命令获取的数字应该大几倍dfs -ud。
| 归档时间: |
|
| 查看次数: |
4898 次 |
| 最近记录: |