我是hadoop的新手.
我已经设置了一个2节点集群.
如何在hadoop中并行运行2个作业.
当我提交作业时,它们按FIFO顺序逐个运行.我必须平行地完成这些工作.如何实现这一目标.
谢谢MRK
Pra*_*ati 13
Hadoop可以配置许多调度程序,默认为FIFO调度程序.
FIFO计划表现如下.
场景1:如果群集具有10个Map Task容量且job1需要15个Map Task,则运行job1将占用整个群集.当job1取得进展并且有可用的空闲插槽时,job1不使用,然后job2在集群上运行.
场景2:如果群集具有10个Map Task容量而job1需要6个Map Task,则job1需要6个槽,job2需要4个槽.job1和job2并行运行.
要从一开始就并行运行作业,您可以根据需要配置Fair Scheduler或Capacity Scheduler.必须设置mapreduce.jobtracker.taskscheduler和特定的调度程序参数才能在mapred-site.xml中生效.
编辑:根据MRK的评论更新答案.
| 归档时间： |
|
| 查看次数： |
6808 次 |
| 最近记录： |