Spark Shell陷入YARN Accepted状态

Question

在Yarn和EMR上运行Spark 1.3.1.当我运行spark-shell时,一切看起来都很正常,直到我开始看到这样的消息INFO yarn.Client: Application report for application_1439330624449_1561 (state: ACCEPTED).这些消息是无休止地生成的,每秒一次.同时,我无法使用Spark shell.

我不明白为什么会这样.

Answer 1

从YARN看到(接近)无尽的接受消息一直是一个明确的信号,表明没有足够的集群资源可以为我的Spark作业/ shell分配.YARN将继续尝试安排您的Spark应用程序,但如果在一定时间内没有足够的资源可用,最终会超时.

您是否为spark-shell提供了覆盖所提供默认值的任何命令行选项？当我要求太多执行程序/核心/内存时,YARN将接受我的请求,但永远不会转换为正在运行的ApplicationMaster.

尝试运行一个没有选项的火花壳(除了--master纱线之外),看它是否超过了Accepted.

Answer 2

意识到我在终端中杀死了几个流媒体作业，但我猜它们以某种方式仍在运行。我能够在显示 YARN 上所有正在运行的应用程序的 UI 中找到这些（我也无法执行 Hive 查询）。一旦我使用下面的命令终止了作业，spark-shell 就会像往常一样启动。

yarn application -kill application_1428487296152_25597