sat*_*ish 2 hadoop mapreduce cloudera
我有5个节点hadoop集群.我已经为每个节点配置了10个映射器.当MR作业正在运行时,其中一个hdfs节点死亡.这最终会导致该任务跟踪器被列入黑名单.在黑名单和MR作业完成之前,如果我修复受影响的hdfs节点,是否可以从黑名单中恢复任务跟踪器？
我在ubuntu上使用cloudera cdh 4.2.
我正在阅读关于tasktracker失败的"Hadoop权威指南".我发现了这个说法
" 黑名单的任务工作者没有分配任务,但他们继续与职务跟踪者沟通.故障随着时间的推移而过期(以每天一个的速度),因此任务工作者只需继续运行就有机会再次运行工作.或者,如果有的话是一个可以修复的基础故障(例如,通过更换硬件),任务跟踪器将在重新启动并重新加入集群后从jobtracker的黑名单中删除. "
| 归档时间： |
|
| 查看次数： |
3053 次 |
| 最近记录： |