在 Spark Web UI 中无法看到已完成的作业

Question

我正在用来./bin/spark-submit运行我的 Spark 作业。它运行良好，但打开 Spark Web UI，我在已完成列表中看不到作业。

./bin/spark-submit --name "myapp" --master local --conf "spark.master=spark://fahad:7077" --class com.apptest.App ~/app-0.0.1-SNAPSHOT.jar

注意：Spark 版本 2.0.1，1 个工作线程正在运行，localhost:8080工作线程和主线程上的主 UI 从脚本运行./sbin/start-*.sh。

Answer 1

有两种不同的 UI：常规 Spark UI 和 Spark History Server。

\n\n

在作业完成后显示作业的是历史服务器。

\n\n

http://spark.apache.org/docs/latest/monitoring.html

\n\n

他们在文档中解释说您需要通过运行来启动它：

\n\n

./sbin/start-history-server.sh\n

\n\n

\n

这将在http://server-url:18080创建一个 Web 界面默认情况下，

\n\n

使用文件系统提供程序类（请参阅下面的spark.history.provider\n）时，必须在spark.history.fs.logDirectory 配置选项中提供基本日志记录目录，并且应包含\n 子目录每个代表一个应用程序\xe2\x80\x99s 事件日志。

\n\n

Spark 作业本身必须配置为记录事件，并将它们记录到同一个共享的可写目录中。例如，如果服务器配置的日志目录为 hdfs://namenode/shared/spark-logs，则客户端选项将为：

\n\n

Spark.eventLog.enabled true Spark.eventLog.dir\n hdfs://namenode/shared/spark-logs

\n

\n