我注意到,通常当hadoop集群不忙时,在map side完成之前,减少一边开始进行？怎么可能？我记得在某个地方阅读减少进度指示器有点误导但不记得确切.有人可以对此有所了解吗？
33 1/3的任何%减少任务进度指示器正在复制映射输出.(另外33个1/3%正在对它们进行排序,最后33个1/3%构成对reduce()方法的实际调用.)映射器一直在完成,并且正如你所配置的那样减少任务量这些产出,尽快为他们准备好了,所以到2/3的第一轮reduce阶段的将是之前完成的任何减少()调用发生.
| 归档时间： |
|
| 查看次数： |
333 次 |
| 最近记录： |