Sur*_*wat 5 hadoop mapreduce
想要了解处理Mapper/Reducer中的异常的最佳实践.
选项1:没有任何try/catch并让任务失败,MR将重试最终终止作业的任务.属性mapreduce.map/reduce.maxattempts在这里扮演角色.
选项2:使用计数器记录catch块中的故障数.并且基于这些错误的某些阈值,要么取消作业,要么只使用计数器来显示失败记录的数量.
在map-reduce中处理异常的任何(其他)通用/标准实践？
小智 2
列出的选项 1 和 2 是我们在项目中处理的一些方法。请看这里。它列出了更多选项
归档时间：
9 年，9 月 前
查看次数：
1079 次
最近记录：
9 年，6 月 前