替换hadoop名称节点和日志节点的步骤

Question

设置:我们有3台机器:m1,m2和m3以下是每台机器上的角色:

m1: namenode (active), zookeeper, hbase master, journalnode
m2: namenode (standby), zookeeper, hbase master, journalnode
m3: zookeeper, hbase master, journalnode

我们正在使用QJM的namenode HA设置

所有这三台机器都需要用新机器(带SSD)替换:new_m1,new_m2和new_m3

new_m1: namenode (active), zookeeper, hbase master, journalnode
new_m2: namenode (standby), zookeeper, hbase master, journalnode
new_m3: zookeeper, hbase master, journalnode

替换将导致群集停机,但是一旦启用新的主节点,群集应该能够恢复其正常操作.

我需要帮助来详细了解使用新硬件替换日志节点和活动+备用名称节点所需的步骤,而不会丢失任何数据.

非常感谢最详细的一步一步回答,谢谢aton

没有hadoop版本升级,但这只是硬件的就地替换.

Answer 1

案例一：

如果你已经将hadoop、hbase和zookeeper（以及temp、dfs和namenode目录）安装在一个公共文件夹下，那么备份数据就会很容易。从现在开始，我们将此文件夹称为主文件夹。只需这样做：

1. 在新的活动名称节点系统中创建主文件夹：

sudo mkdir -p /path/to/home/folder sudo chown -R hadoopuser:hadoopgroup /path/to/home/folder

2.复制主文件夹的所有内容（保留权限）：

sudo scp -rp /path/to/home/folder/in/old/active/namenode hadoopuser@new-active-node-ip:/path/to/home/folder

3.对备用namenode和slave 节点重复这两个步骤。

注意：在编辑之前，请创建每个节点的/etc/hosts文件的备份。

4.为了减少工作量，将新节点重命名为与/etc/hosts文件中旧节点相同的名称。（如果需要的话，给你的旧节点一些其他的名字）

5.启动新的namenode来检查它是否工作。

案例二：

如果您的hadoop temp、dfs、namenode和journal目录不属于您的主文件夹（即您将这些目录配置为与主文件夹不同），请执行以下操作：

1. 确定目录位置：

在core-site.xml和hdfs-site.xml中查找 hadoop temp、dfs、namenode、journal 目录的位置。

2.复制内容：

对每个目录执行案例 I中的 ** 步骤 1** 和 ** 步骤 2**以保留权限。

3.启动新的namenode来检查它是否工作。