正在运行的 Spark 作业未显示在 UI 中

Nar*_*esh 6 apache-spark apache-spark-1.6

我已经按照此处提到的方式提交了我的 Spark 作业,bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar但没有提及--master参数或spark.master参数。而不是将该作业提交到我的 3 节点 Spark 集群。但我想知道它在哪里提交了作业,因为它没有显示任何信息Running Applications

use*_*742 5

如果您不设置 master --masterspark.masterSpark 也不会在本地运行。

您仍然可以查看工作进度。默认情况下,UI 将在 Spark 作业在 上运行期间可用http://localhost:4040

当您的作业完成时,此 UI 将被终止,除非您配置了 Spark 历史服务器,否则您将无法查看应用程序的历史记录