从作业实际运行位置以外的其他位置访问 Spark Web UI

Question

我有一个包含 1 个主节点 9 个节点的 Spark 集群。我正在独立模式下运行。我无法从集群中的任何节点访问 Web 浏览器（我通过 ssh 连接到节点——这是一个 grid5000 集群）。\n我想知道，是否有可能访问 Spark Web UI这个案例？我尝试将集群中的日志复制到本地计算机上的 SPARK_PATH/work 中（留下集群中运行的作业是在本地计算机上运行的印象）。这个想法是在阅读文档中的这一部分后产生的：

\n\n

如果应用程序在其生命周期内记录了事件，则独立 master\xe2\x80\x99s Web UI 将在应用程序完成后自动重新呈现 application\xe2\x80\x99s UI。

\n\n

但这没有用。我在用户界面中可以看到的是：

\n\n

\n

应用程序: 0 正在运行, 0 已完成\n 驱动程序: 0 正在运行, 0 已完成\n 状态: 活动

\n

\n\n

谢谢你！

\n

Answer 1

您不需要复制任何内容，只需访问主计算机上的端口 8080 或应用程序计算机上的端口 4040（当应用程序运行时）。如果机器无法从外部访问，则必须通过 SSH 建立隧道。

通过 SSH 建立隧道是一个热门话题，只需搜索即可。我个人使用FoxyProxy 插件ssh -D 9999，然后将其设置为代理，该插件适用于 Firefox 和 Chrome。localhost:9999