在服务器上工作时如何打开 Spark UI？

Question

我在我的服务器上使用 Spark 和 Ubuntu。我只使用 shell，除此之外没有服务器的 UI。在 Web 浏览器上在本地计算机上工作时，始终可以选择查看 Spark 的统计信息，如作业、CPU、内存等。

有没有办法可以在服务器上本地查看所有这些信息？

Answer 1

spark-shell默认情况下，始终在端口 4040 上启动 Web UI。如果服务器没有图形界面，您可以使用基于文本的浏览器，例如Links，或者从另一台机器（例如您的笔记本电脑）访问端口 4040。您可能需要运行ufw allow 4040以取消阻止防火墙中的端口。