小编Xqu*_*ery的帖子

HADOOP/YARN - ResourceManager和hdfs NameNode是否始终安装在同一主机上?

"资源管理器"和"hdfs名称节点"是否始终安装在同一主机上?

1)当我想发送一个http请求(YARN REST API)来获取新的应用程序ID时,我正在使用这个web uri:

http://<rm http address:port>/ws/v1/cluster/apps/new-application
Run Code Online (Sandbox Code Playgroud)

这个端口是Resource-Manager Web UI http端口,它的默认值是8088,如img1:img1的源码所示纱线端口

2)当我想为hdfs命令发送http请求(WebHDFS REST API)时,例如为了获取文件状态我正在使用这个web uri:

http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS
Run Code Online (Sandbox Code Playgroud)

<PORT>是NameNode WebUI http端口,它的默认值是50070,如img2:img2的源码所示 HDFS端口

这些组件的主机(ResourceManager和NaneNode)是否始终安装在同一主机上?

任何帮助将不胜感激,谢谢!

apache rest hadoop hadoop-yarn webhdfs

8
推荐指数
1
解决办法
5069
查看次数

YARN API:通过 API 获取应用程序的 Yarn 聚合日志

我使用 YARN java API 而不是在终端中提交 Hadoop 应用程序。我正在寻找一种在应用程序完成后通过 Yarn API 获取 Yarn 聚合日志的方法。

当然,它可以通过简单的 cmd 来完成:“yarn logs -applicationId {my_application_ID}”,但我想通过 API 来完成。

有人知道如何使用 API 而不是命令行来获取这些日志吗?

谢谢。

api logging hadoop hadoop-yarn

5
推荐指数
1
解决办法
2248
查看次数

标签 统计

hadoop ×2

hadoop-yarn ×2

apache ×1

api ×1

logging ×1

rest ×1

webhdfs ×1