如何更改spark ui port？

Question

我在集群上安装了spark,我也有马拉松,两者都在8080端口,如何更改spark-ui默认端口？

Answer 1

请参阅http://spark.apache.org/docs/latest/spark-standalone.html:

您可以通过在conf/spark-env.sh中设置环境变量来进一步配置群集.从conf/spark-env.sh.template开始创建此文件,并将其复制到所有工作机器以使设置生效.可以使用以下设置:

...

SPARK_MASTER_WEBUI_PORT - 主Web UI的端口(默认值:8080).

所以 - 复制conf/spark-env.sh.template到conf/spark-env.sh并编辑它包括:SPARK_MASTER_WEBUI_PORT=<your preferred port>

Answer 2

只需在启动 master 时添加 --webui-port 参数

/sbin/start-master.sh --webui-port PORT

或者，您可以在配置文件中定义集群设置：创建一份conf/spark-env.sh.template作为conf/spark-env.sh 并在那里添加您的设置：您现在需要的是 SPARK_MASTER_WEBUI_PORT=PORT