如何将硬盘添加到hadoop

Question

我在Ubuntu 14.04上安装了Hadoop 2.4,现在我正在尝试将内部sata HD添加到现有集群中.

我已将新的hd安装在/ mnt/hadoop中,并将其所有权分配给hadoop用户

然后我尝试将其添加到配置文件中,如下所示:

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>

   <property>
       <name>dfs.name.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
   </property>

   <property>
       <name>dfs.data.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/datanode, file:///mnt/hadoop/hadoopdata/hdfs/datanode</value>
   </property>
</configuration>

之后,我开始了hdfs:

Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop-Datastore.out
localhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-hadoop-Datastore.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop-Datastore.out

似乎它没有启动第二个高清

这是我的core-site.xml

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

此外,我试图刷新namenode,我得到一个连接问题:

Refreshing namenode [localhost:9000]
refreshNodes: Call From hadoop-Datastore/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Error: refresh of namenodes failed, see error messages above.

另外,我无法连接到Hadoop Web界面.看来我有两个相关的问题:

 1) A connection problem
 2) I cannot connect to the new installed hd

这些问题有关系吗？我该如何解决这些问题？

谢谢

编辑

我可以ping本地主机,我可以访问localhost:50090/status.jsp

但是,我无法访问50030和50070

Answer 1

<property>
   <name>dfs.name.dir</name>
   <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
</property>

这记录为:

确定DFS名称节点应存储名称表(fsimage)的本地文件系统的位置.如果这是逗号分隔的目录列表,那么名称表将在所有目录中复制,以实现冗余.

你确定需要这个吗？您是否希望在两个位置复制fsimage以实现冗余？如果是的话,你是否真的在启动namenode之前在新硬盘上复制fsimage？请参阅将新的namenode数据目录添加到现有集群.

新的数据目录(dfs.data.dir)是正常的,datanode应该拿起它并开始使用它来放置块.

此外,作为一般故障排除建议,请查看namenode和datanode日志以获取更多线索.