Hadoop:reducer的数量不等于我在程序中设置的数量

tho*_*lee 2 java hadoop mapreduce

我将mapred.tasktracker.reduce.tasks.maximum设置为10 in mapred-site.xml,我也写jobConf.setNumReduceTasks(5)了我的工作.

如果我在Shell运行这个工作,一切都还可以.

但是当我通过eclipse运行相同的工作时,只启动了一个减速器.

我尝试在eclipse中编辑Map/Reduce Locations,并设置mapred.reduce.tasks为10.但是这仍然不起作用.

我可以在eclipse中调整其他参数吗?

小智 11

在eclipse中运行它似乎使用本地作业运行器.它只支持0或1个减速器.如果你试图将它设置为使用多个reducer,它会忽略它并且只使用一个.