以编程方式确定Spark可用的内核数量和内存量

Question

Spark Web UI显示了有关整个群集可用资源的一些有趣信息.

我特别感兴趣的是:

• 工作人员
• 核心
• 记忆

如何以编程方式查询有关整个群集的这些信息？

Answer 1

Spark并没有真正公开这种信息,它全部隐藏在Master中并转移到WebUI.

但是,您可以使用小型hack,WebUI通过将/ json /附加到页面来支持JSON.

因此,http://<master-host>:<master-port>/json/将返回您正在寻找的信息:

{
  url: "spark://<host>:<port>",
  workers: [ ],
  cores: 0,
  coresused: 0,
  memory: 0,
  memoryused: 0,
  activeapps: [ ],
  completedapps: [ ],
  activedrivers: [ ],
  status: "ALIVE"
}