Hadoop端口澄清

Question

我正在学习hadoop并且对默认端口和位置感到困惑.

当我点击URL:localhost:50070给出了hdfs信息的结果.在hadoop文档中,以下是一些提到的端口.

HDFS-default.xml中

dfs.datanode.http.address   0.0.0.0:50075 
dfs.datanode.address     0.0.0.0:50010
dfs.namenode.http-address    0.0.0.0:50070
dfs.namenode.backup.http-address    0.0.0.0:50105

mapred-default.xml中

mapreduce.jobtracker.http.address   0.0.0.0:50030
mapreduce.tasktracker.http.address  0.0.0.0:50060

纱default.xml中

yarn.resourcemanager.address     ${yarn.resourcemanager.hostname}:8032
yarn.resourcemanager.webapp.address  ${yarn.resourcemanager.hostname}:8088

现在,在我的机器中配置Hadoop 2时,我做了:$ cd/usr/local/hadoop/etc/hadoop $ vi core-site.xml

<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>

问题:默认情况下提到了很多端口,文档中有其他xml ....

1)localhost:50070只返回一些含义完整数据(hdfs health)的其他端口怎么样.其他人只是不回信息？

2)在yarn-default.xml中都是资源管理器端口,区别在于一个是webapp端口.只有当我点击localhost:8088时,它才会给出集群(本例中是单节点)信息.那么端口8083是什么？在示例代码中,我看到8083是RM端口.我不清楚.有人可以解释一下

3)我将hdfs端口更改为9000是那个标准吗？

4)如何查看appmaster,jobtracker,tasktracker端口

5)我认为在纱线hadoop 2中没有jobtracker和tasktracker那么这些端口的目的是什么？

我正在做这些基本问题的噩梦......

谢谢,阿米特

Answer 1

Amit，hadoop 正在监控很多端口，此外还有很多 hadoop 守护进程。每个端口都出于特定原因监视特定端口（您可以覆盖这些端口）。该文档列出了端口及其用途。例如，Hadoop 2 中的资源管理器 YARN 有一个用于监视作业提交的端口：yarn.resourcemanager.address。您可以在conf/yarn-site.xml 中覆盖该端口（不要）。它还使用一个端口yarn.resourcemanager.webapp.address作为其用户界面，另一个端口yarn.resourcemanager.admin.address用于管理命令。同样，HDFS 监控 50070 作为其 Web 地址，并返回有关文件系统的信息。一般来说，最好不要管端口，因为人们知道众所周知的端口号并期望它们（您不会期望默认端口 telnet 或 ftp 会移动）。请记住，yarn 和 MR 可以在同一个集群上运行。有些发行版两者都有。