Hadoop slowstart配置

use*_*585 7 hadoop

对于Hadoop作业,"mapred.reduce.slowstart.completed.maps"的理想值是多少?设置适当的规则有哪些?

谢谢!

Chr*_*ite 15

这取决于您的工作,集群和利用的许多特征:

  1. 你的工作需要多少个地图插槽与最大地图容量:如果你有一个工作产生1000个地图任务,但总共只有10个地图插槽(极端情况下可以证明一个点),那么提前启动你的减速器可能会剥夺过度减少执行任务.在这种情况下,我会将您的慢启动设置为较大的值(0.999或1.0).如果您的地图制作者需要一个年龄来完成 - 让其他人使用减速器也是如此

  2. 如果您的群集负载相对较轻(没有争用减速器插槽)并且您的映射器输出了大量数据,那么慢速启动的低值将有助于您的工作提前完成(而其他地图任务执行时,将地图输出数据移到reducers中).

可能还有更多