Spark Standalone Mode多个shell会话(应用程序)

Question

在具有多个工作节点的Spark 1.0.0独立模式中,我正在尝试从两台不同的计算机(同一Linux用户)运行Spark shell.

在文档中,它说"默认情况下,提交给独立模式群集的应用程序将以FIFO(先进先出)顺序运行,每个应用程序将尝试使用所有可用节点."

每个工作程序的核心数设置为4,其中8个可用(通过SPARK_JAVA_OPTS =" - Dspark.cores.max = 4").内存也是有限的,因此两者都应该可用.

但是,在查看Spark Master WebUI时,稍后启动的shell应用程序将始终保持"WAITING"状态,直到退出第一个.分配给它的核心数是0,每个节点10G的内存(与已经运行的核心相同)

有没有办法让两个shell同时运行而不使用Mesos？

Answer 1

当你的 shell 死亡时，应用程序就会结束。因此，您不能在两台笔记本电脑上同时运行两个spark-shells。你能做的就是启动一个spark-shell，启动另一个，然后在第一个死亡时启动第二个。

与 相反spark-shell，spark-submit一旦计算结束就会终止。因此，您可以 spark-submit在一个应用程序中启动一个spark-shell，并让 shell 在应用程序完成后立即接管。

或者，您可以通过两次启动按顺序运行两个应用程序（一个接一个）spark-submit。