如何知道 Hadoop 节点上文件的确切块大小？

Question

我有一个1 GB我已经放上的文件HDFS。因此，它将被分成块并发送到集群中的不同节点。

是否有任何命令可以识别特定节点上文件块的确切大小？

谢谢。

Answer 1

你应该使用hdfs fsck命令：

hdfs fsck /tmp/test.txt -files -blocks

此命令将打印有关该文件包含的所有块的信息：

/tmp/test.tar.gz 151937000 bytes, 2 block(s):  OK
0. BP-739546456-192.168.20.1-1455713910789:blk_1073742021_1197 len=134217728 Live_repl=3
1. BP-739546456-192.168.20.1-1455713910789:blk_1073742022_1198 len=17719272 Live_repl=3

如您所见，此处显示了（len每行中的字段）块的实际使用容量。

此外hdfs fsck，您还可以在官方Hadoop 文档页面中看到许多其他有用的功能。