Hadoop HDFS - 缺少副本和未复制块之间的区别

Question

我知道,由于复制因子集的数据节点数较少,因此发生了重复不足的块和错误复制的块.

但它们之间有什么区别？

在将可用数据节点为1的情况下将复制因子重新设置为1时,将清除未复制块和丢失副本错误.通过执行命令hdfs fsck /确保这一点

Answer 1

来自Tom White的"Hadoop:The Definitive Guide":

过度复制的块 这些块超出了它们所属文件的目标复制.通常,过度复制不是问题,HDFS会自动删除多余的副本.

未复制的块 这些块不符合它们所属文件的目标复制.HDFS将自动创建未复制块的新副本,直到它们满足目标复制.您可以使用hdfs dfsadmin -metasave获取有关正在复制(或等待复制)的块的信息.

错误复制的块 这些块不满足块副本放置策略(请参阅副本放置).例如,对于多机群集中的复制级别为3,如果块的所有三个副本位于同一机架上,则该块会被误复制,因为副本应分布在至少两个机架上以实现弹性.HDFS将自动重新复制错误复制的块,以便它们满足机架放置策略.

损坏的块 这些是副本全部损坏的块.具有至少一个非破坏副本的块不会被报告为损坏; namenode将复制非破坏副本,直到满足目标复制.

缺少副本 这些是群集中任何位置都没有副本的块.

希望这能回答你的问题.