未配置dfs.namenode.servicerpc-address或dfs.namenode.rpc-address

Question

我试图配置一个名称节点和四个数据节点的hadoop.我能够在一台机器上成功配置名称节点和作业跟踪器并将其启动.

但是在我要配置数据节点的机器上,我执行了以下操作:

• 我解压缩hadoop-2.0.0-cdh4.1.2.tar.gz并mr1-2.0.0-mr1-cdh4.1.2.tar.gz进入文件夹并使用主服务器和从服务器设置配置.
• 在master文件中,我设置了配置为名称节点的计算机的IP地址.
• 在从机中,我设置了我的机器的IP地址,我已经解压缩了tar球.

当我尝试使用该命令启动数据节点时

hdfs datanode

我收到此错误:

java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

我需要做什么？

Answer 1

该masters文件的名称具有误导性.它应包含SecondaryNameNode的地址,并由NameNode本身读取.DataNode与masters文件无关.您需要fs.default.name在core-site.xml配置文件上进行配置.

您看到的错误也会产生误导,并指向错误的配置参数.

Answer 2

这些步骤为我解决了这个问题:

1. export HADOOP_CONF_DIR ="$ HADOOP_HOME/etc/hadoop"
2. echo $ HADOOP_CONF_DIR
3. hdfs namenode -format
4. hdfs getconf -namenodes
5. start-dfs.sh

然后,Hadoop可以正常启动.