小编Mak*_*bex的帖子

如何根据我的mapper输出大小动态设置reducer的数量?

我知道通过将mapred.min.split.size设置为dfs.block.size,可以根据我的dfs分割大小设置mapper的数量.

类似如何根据我的mapper输出大小设置减速器的数量?

PS:我知道以下选项可以用来操纵减速机的数量.mapred.tasktracker.reduce.tasks.maximum mapred.reduce.tasks

distributed hadoop mapreduce

5
推荐指数
1
解决办法
1832
查看次数

标签 统计

distributed ×1

hadoop ×1

mapreduce ×1