Hadoop 的 HDFS 高可用性特性如何影响 CAP 定理?

Del*_*man 4 hadoop cap-theorem availability

根据我目前所读到的有关 CAP 定理的所有内容,没有任何分布式系统可以同时提供以下三项:可用性、一致性和分区容错性。

现在,Hadoop 2.x 引入了一项新功能,可以对其进行配置以消除 hadoop 集群具有的单点故障(单个名称节点)。有了这个,集群变得高度可用、一致和分区容错。我对吗?或者我错过了什么?根据 CAP,如果系统试图提供所有三个功能,它应该在延迟上付出代价,新功能是否会将此延迟添加到集群中?还是 Hadoop 破解了 CAP 定理?

小智 5

HDFS 在多个相关故障(例如,具有相同 HDFS 块的三个故障数据节点)的情况下不提供可用性。

来自CAP 混淆:分区容错问题

ZooKeeper 等系统是显式顺序一致的,因为集群中的节点很少,写入仲裁的成本相对较小。Hadoop 分布式文件系统 (HDFS) 也选择了一致性——如果你不走运,三个失败的数据节点可能会使文件的块不可用。然而,这两个系统都被设计为在真实网络中工作,在那里会发生分区和故障,当它们发生时,两个系统都将变得不可用,并在一致性和可用性之间做出选择。这种选择仍然是分布式数据存储不可避免的现实。