Ale*_*ter 0 java hadoop hdfs hadoop-yarn hadoop2
我正在阅读Hadoop教程,我对hadoop中的Block pool有疑问.
块池 - 基本上每个块池彼此独立管理,每个块池都是属于单个命名空间的一组块.
该块池是虚拟概念还是类似于内存中维护的块上的metadat？
它是关于每个数据块的元数据.
hadoop中的文件被分成块,然后这些块存储在不同的数据节点上.但是要再次访问这些数据,我们需要知道这些块的存储位置.namenode在块池的帮助下完成了这个任务.
因此,Blockpool是关于hadoop集群上每个文件的每个块的元数据.它们存储在namenode的内存中,而不是存储在磁盘上.因此,如果namenode关闭,则需要重建此信息.
现在在Hadoop Federation中,我们有多个名称空间的概念.不同的名称节点负责不同的名称空间.假设我们有两台机器充当namenodes:
现在要管理/ finance命名空间下的文件块,只需要NN1.因此,只有NN1需要具有/ finance命名空间的块池.同样了解/ accounts下的文件,我们只需要NN2.只有NN2会有/ pool命名空间的块池.因此他们独立行事.
| 归档时间： |
|
| 查看次数： |
1516 次 |
| 最近记录： |