如何根据我的mapper输出大小动态设置reducer的数量？

Question

我知道通过将mapred.min.split.size设置为dfs.block.size,可以根据我的dfs分割大小设置mapper的数量.

类似如何根据我的mapper输出大小设置减速器的数量？

PS:我知道以下选项可以用来操纵减速机的数量.mapred.tasktracker.reduce.tasks.maximum mapred.reduce.tasks

Answer 1

如果您想通过命令行动态设置映射器和减速器的数量:: 您可以使用以下选项：

-D mapred.map.tasks=5 -D mapred.reduce.tasks=5

我们还可以在驱动程序代码中设置mappers和reducers的数量：job.setNumMapTasks(); job.setNumReduceTasks();

我不认为一旦映射缩减作业开始就可以动态更改缩减程序的数量。据我所知，在作业运行期间不会有提供值的人机交互。它应该预先配置。MapReduce作业是一个批处理过程（运行很长时间），因此用户很难知道什么时候它会询问用户reducers的数量，并且在此过程中它没有被设计为交互式！希望你得到答案！！