Web UI（http://localhost:8088）未显示 Spark 应用程序

Question

我在我的笔记本电脑上设置了伪分布式 hadoop 2.2.0 环境。我可以运行 mapreduce 应用程序（包括 Pig 和 Hive 作业），并且可以从 Web UI 看到应用程序的状态 http://localhost:8088

我已经下载了 Spark 库，并且只是将文件系统-HDFS 用于 Spark 应用程序。当我启动一个 Spark 应用程序时，它正在启动并且执行也按预期成功完成。

但是 Web UIhttp://localhost:8088没有列出已完成/启动的 Spark 应用程序。

请建议是否需要任何其他额外配置才能在 Web UI 中查看 Spark 应用程序。

（注意：http://localhost:50070当尝试通过 Spark 应用程序将文件写入 HDFS 时，此 Web UI 会正确显示文件）

Answer 1

您可能已经想通了，但对于其他开始使用 Spark 的人来说。您可以在

http://本地主机:4040

在您的 spark 上下文启动后（端口可以不同，例如 4041）。基于独立安装，您可以看到主从状态

http://本地主机:8080

（对于从端口通常是 8081 以上）。您需要将作业 Spark 提交到 yarn-cluster 或客户端才能在 hadoop webservices 上看到相同的内容。