为什么conf.set("spark.app.name",appName)没有在UI中设置名称？

Question

我在打电话

val appName : String = arguments.getNameFromConfig

val conf = new SparkConf()
conf.set("spark.driver.maxResultSize", "30G")
conf.set("spark.app.name", appName)

println("Master: " + arguments.getMaster)

conf.setMaster(arguments.getMaster)    

val sc = new SparkContext(conf)

为了更容易在UI中识别我的工作.但是,它不在调度程序中使用此名称.相反,它使用主类的路径Word2VecOnCluster:

该名称仅出现在标题中:

我的一位同事实际上正在做同样的工作.你在这里看不到的是我的任务名称有点大:

W2V_rtype-yelp_w2vpart-1_vsize-100_lr-0.025_dskeep-5.0perc_vocabsize-100000_epochs-1_iter-1

那么这个名字的长度是否有限制呢？如果是这样,那么它可能应该被添加到文档中 - 或者是否有任何其他原因可以这样做？

Answer 1

在群集模式下提交应用程序时,将不会选择在sparkConf中设置的名称,因为此时应用程序已经启动.您可以将--name {appName}传递给spark-submit命令,以在Yarn资源管理器中显示该名称.