驱动程序命令关闭后，Spark 工作器停止

Question

基本上，主节点也作为从节点之一执行。一旦 master 上的 slave 完成，它就会调用 SparkContext 停止，因此这个命令会传播到所有在处理过程中停止执行的 slave。

错误登录其中一名工作人员：

信息 SparkHadoopMapRedUtil：尝试_201612061001_0008_m_000005_18112：已提交

INFO Executor：已完成阶段 8.0 中的任务 5.0 (TID 18112)。发送给驱动程序的 2536 字节结果

信息 CoarseGrainedExecutorBackend：驱动程序命令关闭

错误 CoarseGrainedExecutorBackend：收到信号终止

Answer 1

检查您的资源管理器用户界面，以防您看到任何执行程序失败 - 它详细说明了内存错误。但是，如果执行器没有失败，但驱动程序仍然要求关闭 - 通常这是由于驱动程序内存所致，请尝试增加驱动程序内存。让我知道事情的后续。