为什么由于“容器被调度程序抢占”而导致 mapreduce 尝试被杀死?

Rob*_*sch 1 hadoop apache-pig

我刚刚注意到 Hadoop 上的许多 Pig 作业由于以下原因而被终止: Container preempted by scheduler

有人可以解释一下是什么原因造成的,以及我是否应该(并且能够)对此做些什么?

谢谢!

小智 5

如果您启用了公平调度程序并启用了许多不同的队列,则更高优先级的应用程序可以终止您的作业(以抢占方式)。

Hortonworks 有一个很好的解释,有更多细节

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_yarn_resource_mgt/content/preemption.html

你应该做些什么吗?取决于您的应用程序是否在其 SLA 范围内并在预期范围内执行。一般的好做法是检查您的工作优先级及其分配到的队列。