hadoop job -kill job_id和yarn application -kill application_id有什么区别

Question

hadoop job -kill job_id和之间有什么区别yarn application -kill application_id？job_id和application_id是否代表/引用相同的任务？

Answer 1

hadoop job -kill job_id并且yarn application -kill application_id这两个命令都用于终止在Hadoop上运行的作业.

如果您正在使用MapReduce Version1(MR V1)并且想要终止在Hadoop上运行的作业,那么您可以使用它hadoop job -kill job_id来终止作业,它将终止所有作业(运行和排队).

在MapReduce Version2(MR V2或YARN)中,当您提交MapReduce作业时,它会通过应用程序主机进行处理,因此称为应用程序.可以在应用程序中运行多个任务.如果要杀死应用程序,则可以使用yarn application -kill application_id命令终止应用程序.它将终止应用程序下的所有正在运行和排队的作业.

如果你想杀死YARN中的任务,那么你可以hadoop job -kill-task <task-id>用来杀死YARN中的特定任务

此链接对于了解YARN中的应用程序和作业非常有用.

Answer 2

Application_id 是与Application master 关联的ID。除了ID 之前的前缀application_和job_之外，两个 ID 都是同一个（将具有相同的 ID 值） 。

两者仅代表同一个工作！