小编Div*_*dra的帖子

相同的关键不同减速机(HADOOP)?

是否可以在不同的Reducer上处理具有相同键的值?从所有地图制作者我得到相同的数据的数据,我想用不同的reducer处理它?我的困惑在于,这本书说所有带有相同键的值都会转到相同的减速器......

 mapper1(k1,v1),mapper2(k1,v2),mapper3(k1,v3) and so on...
Run Code Online (Sandbox Code Playgroud)

我不希望所有数据都相同的减速器......应该是这样的,

 reducer1(k1,v1),reducer2(k1,v2)....
Run Code Online (Sandbox Code Playgroud)

并且让我们说reducer1产生sum1和reducer2产生sum2而我想要那个

 sum=sum2+sum1
Run Code Online (Sandbox Code Playgroud)

我该怎么做?

java reduce hadoop mapreduce key-value

5
推荐指数
1
解决办法
4235
查看次数

标签 统计

hadoop ×1

java ×1

key-value ×1

mapreduce ×1

reduce ×1