如何杀死hadoop工作

Question

当我的代码遇到未处理的异常时,我想自动杀死所有的hadoop作业.我想知道这样做的最佳做法是什么？

谢谢

Answer 1

根据版本,执行:

版本<2.3.0

杀死一个hadoop工作:

hadoop job -kill $jobId

你可以得到所有jobId的列表:

hadoop job -list

版本> = 2.3.0

杀死一个hadoop工作:

yarn application -kill $ApplicationId

您可以获取所有ApplicationId的列表:

yarn application -list

Answer 2

使用folloing命令已弃用

hadoop job -list
hadoop job -kill $jobId

考虑使用

mapred job -list
mapred job -kill $jobId

Answer 3

运行list以显示所有作业,然后在相应的命令中使用jobID/applicationID.

杀死地图工作:

mapred job -list
mapred job -kill <jobId>

杀纱工作:

yarn application -list
yarn application -kill <ApplicationId>