Hadoop磁盘故障，你怎么办？

Question

我想知道您在其中一个 Hadoop 服务器磁盘出现故障时该怎么做的策略。

比方说，我有多个（> 15）Hadoop 服务器和 1 个名称节点，从属节点上的 6 个磁盘中的一个停止工作，磁盘通过 SAS 连接。我不关心从这个磁盘检索数据，但关心保持集群运行的一般策略。

你做什么工作？

Answer 1

我们部署了hadoop。您可以指定文件的复制数。文件被复制多少次。Hadoop 在名称节点上存在单点故障。如果您担心磁盘损坏，请将复制增加到 3 个或更多。

那么如果磁盘坏了，那就很简单了。扔掉它并重新格式化。Hadoop会自动调整。事实上，一旦磁盘出现故障，它就会开始重新平衡文件以维持复制数量。

我不知道你为什么有这么大的赏金。你说你不关心检索数据。Hadoop 仅在名称节点上存在单点故障。所有其他节点都是可消耗的。