Sam*_*Sam 20 hadoop high-availability hdfs hadoop2
Hadoop是一致的和分区容忍的,即它属于CAP theoram的CP类别.
Hadoop不可用,因为所有节点都依赖于名称节点.如果名称节点落下,则群集将关闭.
但考虑到HDFS集群有一个辅助名称节点,为什么我们不能将hadoop称为可用.如果名称节点已关闭,则辅助名称节点可用于写入.
名称节点和辅助名称节点之间的主要区别是什么使hadoop不可用.
提前致谢.
Rem*_*anu 60
namenode将HDFS文件系统信息存储在名为fsimage的文件中.对文件系统的更新(添加/删除块)不是更新fsimage文件,而是记录到文件中,因此I/O仅快速附加流而不是随机文件写入.在进行恢复时,namenode会读取fsimage,然后应用日志文件中的所有更改,以使文件系统状态在内存中保持最新状态.这个过程需要时间.
secondarynamenode作业不是名称节点的辅助作业,而只是定期读取文件系统更改日志并将其应用到fsimage文件中,从而使其更新.这允许namenode下次启动得更快.
不幸的是,secondarynamenode服务不是备用的辅助名称节点,尽管它的名称.具体来说,它不为namenode提供HA.这是很好的说明了这里.
请注意,更新的发行版(当前的Hadoop 2.6)使用Quorum Journal Manager引入了使用NFS(共享存储)和/或namenode高可用性的namenode高可用性.