HADOOP/YARN - ResourceManager和hdfs NameNode是否始终安装在同一主机上？

Question

"资源管理器"和"hdfs名称节点"是否始终安装在同一主机上？

1)当我想发送一个http请求(YARN REST API)来获取新的应用程序ID时,我正在使用这个web uri:

http://<rm http address:port>/ws/v1/cluster/apps/new-application

这个端口是Resource-Manager Web UI http端口,它的默认值是8088,如img1:img1的源码所示

2)当我想为hdfs命令发送http请求(WebHDFS REST API)时,例如为了获取文件状态我正在使用这个web uri:

http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS

这<PORT>是NameNode WebUI http端口,它的默认值是50070,如img2:img2的源码所示

这些组件的主机(ResourceManager和NaneNode)是否始终安装在同一主机上？

任何帮助将不胜感激,谢谢!

Answer 1

没有必要在单个机器上运行resourceManager和nameNode,我们在单个节点/小型集群中工作时具有这样的配置---几乎没有节点---配置.当存在大型集群时,主节点通常在不同的机器上运行resourceManager,nameNode和secondaryNamenode.

看看这些链接:

Hadoop集群中的主节点

HortonWorks:典型的Hadoop集群