使用MapReduce查找数字的平均值

Question

我一直在尝试编写一些代码来使用MapReduce查找数字的平均值.

我试图使用全局计数器来达到我的目标,但我无法在map我的Mapper方法中设置计数器值,我也无法在reduce我的Reducer方法中检索计数器值.

我是否必须使用全局计数器map(例如使用incrCounter(key, amount)提供的Reporter)？或者你会建议任何不同的逻辑来获得一些数字的平均值？

Answer 1

逻辑非常简单:如果所有数字都具有相同的键,则映射器会发送您想要查找具有相同键的平均值的所有值.因此,在reducer中可以对迭代器中的值求和.然后,您可以在迭代器工作的时间数上保留一个计数器,这可以解决平均项数的问题.最后,在迭代器之后,您可以通过将总和除以项目数来找到平均值.

注意,如果将combiner类设置为与reducer相同的类,则此逻辑将不起作用 ...