Spark 1.5.0 spark.app.id警告

Question

我已经更新了要使用的CDH群集spark 1.5.0.当我提交spark应用程序时,系统会显示警告spark.app.id

Using default name DAGScheduler for source because spark.app.id is not set.

我搜索过spark.app.id但没有关于它的文档.我读了这个链接,我认为它用于RestAPI调用.

我没有看到这个警告spark 1.4.有人可以向我解释并说明如何设置它吗？

Answer 1

它不一定用于REST API,而是用于监视目的e.g当你想检查每个例子的纱线日志时:

yarn logs <spark.app.id>

确实,这个具体问题尚未记录在案.我认为已经添加了标准化Hadoop生态系统中的应用程序部署.

我建议你在你的应用中设置'spark.app.id'.

conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course

尽管如此,这仍然是一个不会影响应用程序本身的警告.