无论是从不同的客户端服务器提交一堆hadoop作业还是从同一个客户端服务器提交一堆hadoop作业,它对资源是否有任何可衡量的影响？我想不会因为所有工作都是在集群中完成的.它是否正确？
提交到Hadoop集群的客户端上唯一需要资源密集的是计算输入拆分.当输入数据很大或者从同一客户端提交的作业太多时,由于输入拆分计算,作业提交可能会变得有点慢.
我无法回想起Hadoop版本或参数,但包含了一个可配置参数,用于将输入拆分的计算从提交作业的客户端移动到Hadoop集群.
| 归档时间： |
|
| 查看次数： |
399 次 |
| 最近记录： |