如何跟踪hadoop中哪个数据节点在哪个数据块?

Var*_*ith 24 replication hadoop

如果复制了一个数据块,那么它将被复制到哪个数据节点?是否有任何工具可以显示复制块的位置?

小智 39

如果您知道文件名,可以通过DFS浏览器查看.

转到您的namenode Web界面,说"浏览文件系统"并导航到您感兴趣的文件.在页面底部,将有一个文件中所有块的列表,其中每个块都是位于.

注意:当您单击HDFS文件系统中的实际文件时,它看起来像这样.

SS#1

或者,您可以运行:

hadoop fsck / -files -blocks -locations
Run Code Online (Sandbox Code Playgroud)

这将报告所有块及其所有位置.

  • 谢谢.这非常有帮助.有没有工具可以做同样的事情?如果不是,我将使用fsck构建一个. (2认同)