如何在独立主服务器中并行运行多个spark应用程序

Question

使用Spark(1.6.1)独立主机,我需要在同一个spark master上运行多个应用程序. 所有申请在第一个申请后提交,始终保持'WAIT'状态.我还观察到,一个运行中包含所有核心工人的总和.我已经尝试过限制它,SPARK_EXECUTOR_CORES但是它用于纱线配置,而我正在运行的是"独立主机".我尝试在同一个主人上运行许多工作人员,但每次首次提交的申请都会消耗所有工人.

Answer 1

我在spark独立集群上遇到了同样的问题.

我得到的是,不知何故,它正在利用一项工作的所有资源.我们需要定义资源,以便它们也可以用来运行其他工作.

下面是我用来提交spark工作的命令.

bin/spark-submit --class classname --master spark://hjvm1:6066 --deploy-mode cluster  --driver-memory 500M --conf spark.executor.memory=1g --conf spark.cores.max=1 /data/test.jar