差异失败任务与被杀死的任务

Question

从Jobtracker Web UI,我看到这个专栏名为"Failed/Killed Task Attempts".

我想知道它们之间的区别.我猜"失败者"意味着在重试之后最终失败的任务(因此根本没有完成恢复？)而"被杀死者"意味着被杀死的任务(由于超时等等),但是他们可能会被重试？

Answer 1

Hadoop可以通过自己的决定杀死任务有几个原因:
a)任务在超时期间不报告进度(默认为10分钟)
b)FairScheduler或CapacityScheduler需要其他池(FairScheduler)或队列(CapacityScheduler)的插槽.
c)推测执行导致任务结果不需要,因为它已在其他地方完成.

Answer 2

Hadoop使用"推测性执行".可以在多个框上启动相同的任务.第一个完成胜利,其他副本被杀死.

失败的任务是错误输出的任务.