启动Spark History Server时如何指定Spark属性？

Question

有谁知道如何SparkConf在启动Spark History Server时在中设置值？

Answer 1

如果正在使用，<SPARK_HOME>/sbin/start-history-server.sh则不能指定命令行参数，但可以指定SPARK_HISTORY_OPTS为环境变量并指定各种环境变量，例如：-

export SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.ui.port=9000

但是如果使用<SPARK_HOME>/sbin/start-daemon.sh脚本，则可以指定多个命令行选项。像这样： -

<SPARK_HOME>/sbin/spark-daemon.sh start org.apache.spark.deploy.history.HistoryServer -Dspark.history.ui.port=9000