小编Moh*_*ain的帖子

默认减速机数量

在Hadoop中,如果我们没有设置减速器数量,那么将创建多少减速器?

像映射器的数量取决于(总数据大小)/(输入分割大小),例如,如果数据大小是1 TB并且输入分割大小是100 MB.然后映射器的数量将是(1000*1000)/ 100 = 10000(一万).

减速机的数量取决于哪些因素?为工作创建了多少减速器?

hadoop mapreduce hdfs

10
推荐指数
1
解决办法
2万
查看次数

Hadoop中的减速器数量

我正在学习hadoop,发现减速器的数量非常令人困惑:

1)减速器的数量与分区的数量相同。

2)减速器的数量为0.95或1.75乘以(节点数)*(每个节点的最大容器数)。

3)减速器的数量由mapred.reduce.tasks设置。

4)减速器的数量最接近:块大小的倍数*任务时间在5到15分钟之间*创建尽可能少的文件。

我很困惑,我们是显式设置减速器的数量还是由mapreduce程序本身完成?

减速器的数量如何计算?请告诉我如何计算减速器的数量。

hadoop mapreduce bigdata reducers hadoop2

6
推荐指数
1
解决办法
1万
查看次数

标签 统计

hadoop ×2

mapreduce ×2

bigdata ×1

hadoop2 ×1

hdfs ×1

reducers ×1