如何更改spark.ui.port？

Question

我使用的火花提交,并试图做到这一点与jar文件.setExecutorEnv("spark.ui.port", "4050")的火花范围内,但它仍试图打4040,然后我试图把一个--conf spark.ui.port=4050后spark-submit和前--class CLASSNAME,但没有任何工作,这个时候说"错误:无法识别选项' - conf'".我该如何解决这个问题？我遇到的实际错误是有一个活跃的火花服务器,其他人正在使用,这阻止了这个spark-submit启动jetty服务器.它没有打到其他端口,所以我试图强迫它这样做.

Answer 1

--conf spark.ui.port=4050是一个Spark 1.1功能.您可以在代码中进行设置,例如:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050")
val sc = new SparkContext(conf)