有没有办法杀死Hadoop中的reducer任务?

int*_*skh 6 reduce hadoop mapreduce

运行一些映射会减少作业,一个作业将占用所有减速器容量.有没有办法杀死一个或两个reducer任务来释放集群?

我可以直接转到任务跟踪服务器之一并手动终止java进程.但我想知道是否有更好的方法来做到这一点?

sol*_*ion 7

您可以通过以下方式终止任务尝试:

hadoop job -kill-task [task_attempt_id]
Run Code Online (Sandbox Code Playgroud)

要获取task-attempt-id,您需要更深入地处理任务(通过单击作业跟踪器上的任务超链接).


cab*_*bad 3

首先找到职位ID:

hadoop job -list
Run Code Online (Sandbox Code Playgroud)

现在,终止工作:

hadoop job -kill <job_ID_goes_here>
Run Code Online (Sandbox Code Playgroud)

  • 谢谢,但这会杀死整个工作..我只想杀死一个任务,让剩下的任务运行。目标只是为我的其他轻量级作业腾出空间来运行。 (2认同)