相关疑难解决方法(0)

Hadoop中的分割大小与块大小

Hadoop中分割大小和块大小之间的关系是什么?正如我在阅读,分割大小必须是块大小的n倍(n是一个整数且n> 0),这是正确的吗?分割大小和块大小之间有关系吗?

hadoop mapreduce hdfs

15
推荐指数
2
解决办法
2万
查看次数

Hadoop中的减速器数量

我正在学习hadoop,发现减速器的数量非常令人困惑:

1)减速器的数量与分区的数量相同。

2)减速器的数量为0.95或1.75乘以(节点数)*(每个节点的最大容器数)。

3)减速器的数量由mapred.reduce.tasks设置。

4)减速器的数量最接近:块大小的倍数*任务时间在5到15分钟之间*创建尽可能少的文件。

我很困惑,我们是显式设置减速器的数量还是由mapreduce程序本身完成?

减速器的数量如何计算?请告诉我如何计算减速器的数量。

hadoop mapreduce bigdata reducers hadoop2

6
推荐指数
1
解决办法
1万
查看次数

标签 统计

hadoop ×2

mapreduce ×2

bigdata ×1

hadoop2 ×1

hdfs ×1

reducers ×1