Ubuntu 16.04.1 LTS
Hadoop 3.3.1
我参考一篇网络教程尝试设置hadoop伪分布式模式,并按照以下步骤操作。
步骤1:设置Hadoop
1.将以下代码添加到/etc/profile。
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
Run Code Online (Sandbox Code Playgroud)
2.在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中,设置
export JAVA_HOME=/opt/jdk1.8.0_261
Run Code Online (Sandbox Code Playgroud)
核心站点.xml:
<configuration>
<property>
<name>fs.default.name </name>
<value> hdfs://localhost:9000 </value>
</property>
</configuration>
Run Code Online (Sandbox Code Playgroud)
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoop/pseudo/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoop/pseudo/hdfs/datanode</value>
</property>
</configuration>
Run Code Online (Sandbox Code Playgroud)
纱线站点.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
Run Code Online (Sandbox Code Playgroud)
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
Run Code Online (Sandbox Code Playgroud)
步骤2:验证Hadoop
1.$ hdfs namenode -format
2。
sudo apt-get install ssh
ssh-keygen -t rsa
ssh-copy-id hadoop@ubuntu
cd ~/hadoop/sbin
start-dfs.sh
Run Code Online (Sandbox Code Playgroud)
3.start-yarn.sh
4.在本地计算机上的 Firefox 中打开 http://localhost:50070/。
无法连接
Firefox 无法与位于 localhost:50070 的服务器建立连接。
该网站可能暂时不可用或太忙。请稍后重试。
如果您无法加载任何页面,请检查计算机的网络连接。
如果您的计算机或网络受防火墙或代理保护,请确保 Firefox 有权访问网络。
5.在firefox中打开http://localhost:8088/,返回端口50070相同的错误。
当我运行 jps 命令时,它返回
hadoop@ubuntu:~/hadoop/sbin$ jps
32501 DataNode
32377 NameNode
32682 SecondaryNameNode
32876 Jps
Run Code Online (Sandbox Code Playgroud)
自 Hadoop 3.0.0 - Alpha 1 以来,端口配置发生了变化:
http://本地主机:50070
被移至
http://本地主机:9870
请参阅https://issues.apache.org/jira/browse/HDFS-9427
| 归档时间: |
|
| 查看次数: |
2526 次 |
| 最近记录: |