如何查看 Spark 独立集群的聚合日志

Question

当 Spark 在 Yarn 上运行时，在 Spark 作业完成后，我可以简单地使用 yarn -logs -applicationId appId 来查看聚合日志。Spark 独立集群的等效方法是什么？

Answer 1

通过网络界面：

\n\n

\n

Spark\xe2\x80\x99s 独立模式提供基于 Web 的用户界面来监控集群。主节点和每个工作节点都有自己的 Web UI，用于显示集群和作业统计信息。默认情况下，您可以在端口 8080 访问主站的 Web UI。可以在配置文件中或通过命令行选项更改端口。

\n\n

另外，每个作业的详细日志输出也会写入每个从节点的工作目录（默认为SPARK_HOME/work）。您将看到每个作业的两个文件：stdout 和 stderr，以及写入其控制台的所有输出。

\n

\n\n

请在监控和仪表中找到更多信息。

\n