Hadoop中分割大小和块大小之间的关系是什么?正如我在阅读此,分割大小必须是块大小的n倍(n是一个整数且n> 0),这是正确的吗?分割大小和块大小之间有关系吗?
我正在学习hadoop,发现减速器的数量非常令人困惑:
1)减速器的数量与分区的数量相同。
2)减速器的数量为0.95或1.75乘以(节点数)*(每个节点的最大容器数)。
3)减速器的数量由mapred.reduce.tasks设置。
4)减速器的数量最接近:块大小的倍数*任务时间在5到15分钟之间*创建尽可能少的文件。
我很困惑,我们是显式设置减速器的数量还是由mapreduce程序本身完成?
减速器的数量如何计算?请告诉我如何计算减速器的数量。