Spark setAppName不会出现在运行应用程序UI的Hadoop中
taz*_*azo 5 hadoop apache-spark
我正在运行一个火花流工作,当我为我的火花流工作设置应用程序名称(一个更好的可读字符串)时,它不会出现在运行应用程序UI的Hadoop中.我总是在Hadoop UI中看到类名作为名称
val sparkConf = new SparkConf().setAppName("BetterName")
如何在Spark中设置作业名称,以便它出现在这个Hadoop UI中？
运行应用程序的Hadoop URL是 - http:// localhost:8088/cluster/apps/RUNNING
[更新] 看起来这只是Spark Streaming作业的问题,但是找不到如何修复它的解决方案.
taz*_*azo 17
通过spark-submit提交作业时,创建的SparkContext无法设置应用程序的名称,因为YARN已在Spark之前配置为作业.要使应用程序名称显示在Hadoop运行作业UI中,您必须在命令行中为spark-submit"--name BetterName"设置它.我使用调用spark-submit的shell脚本启动我的工作,因此在shell脚本中将命名添加到命令中.
| 归档时间： |
|
| 查看次数： |
2470 次 |
| 最近记录： |