公平和容量调度程序之间有什么区别？

Question

我是Hadoop世界的新手,想要了解公平和容量调度程序之间的区别.我们什么时候应该使用每一个？请以简单的方式回答,因为我在互联网上阅读了很多东西,但我从中得不到多少.

Answer 1

公平调度是一种为工作分配资源的方法,使得所有工作平均在一段时间内获得相等的资源份额.当单个作业正在运行时,该作业将使用整个群集.提交其他作业时,将释放的任务槽分配给新作业,以便每个作业获得大致相同的CPU时间.与构成作业队列的默认Hadoop调度程序不同,这样可以在合理的时间内完成短作业,同时不会使长作业匮乏.它也是在多个用户之间共享群集的合理方式.最后,公平共享还可以与作业优先级一起使用 - 优先级用作权重来确定每个作业应该获得的总计算时间的比例.

CapacityScheduler旨在允许共享大型群集,同时为每个组织提供最低容量保证.中心思想是Hadoop Map-Reduce集群中的可用资源在多个组织之间进行分区,这些组织根据计算需求共同为集群提供资金.还有一个额外的好处是,组织可以访问其他人未使用的任何剩余容量.这为组织提供了具有成本效益的弹性.

Answer 2

下面是这两个调度程序的功能比较。