在Hadoop中,如果我们没有设置减速器数量,那么将创建多少减速器?
像映射器的数量取决于(总数据大小)/(输入分割大小),例如,如果数据大小是1 TB并且输入分割大小是100 MB.然后映射器的数量将是(1000*1000)/ 100 = 10000(一万).
减速机的数量取决于哪些因素?为工作创建了多少减速器?
我正在学习hadoop,发现减速器的数量非常令人困惑:
1)减速器的数量与分区的数量相同。
2)减速器的数量为0.95或1.75乘以(节点数)*(每个节点的最大容器数)。
3)减速器的数量由mapred.reduce.tasks设置。
4)减速器的数量最接近:块大小的倍数*任务时间在5到15分钟之间*创建尽可能少的文件。
我很困惑,我们是显式设置减速器的数量还是由mapreduce程序本身完成?
减速器的数量如何计算?请告诉我如何计算减速器的数量。