当我运行我的hadoop作业时,我收到以下错误:
用户已收到要求杀死任务'attempt_201202230353_23186_r_000004_0'的请求已由用户杀死KILLED_UNCLEAN
日志看起来很干净.我运行了28个减速器,这并不适用于所有减速器.它适用于选定的几个,并且减速器再次启动.我不明白这一点.我注意到的另一件事是,对于一个小数据集,我很少看到这个错误!
小智 1
你可以尝试在你的reduce逻辑中使用counter(hadoop counter)吗？看起来 hadoop 无法确定您的reduce 程序是正在运行还是挂起。它会等待几分钟并杀死它，即使您的逻辑可能仍在执行。
| 归档时间： |
|
| 查看次数： |
5012 次 |
| 最近记录： |