Dataproc（Spark v2）中的纱线队列示例

Question

有没有人能够在Dataproc的Spark 2.x上向纱线添加更多默认队列？

在集群创建时失败的尝试：

capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default yarn:yarn.scheduler.capacity.root.queues=alpha,beta,default

此外，设置yarn.scheduler.fair.allow-undeclared-pools=true以上任一配置前缀以激活动态队列也将失败。

所有情况似乎都使守护程序失败，从而使资源管理器在启动时失效。

Answer 1

每个队列都需要具有指定的容量。您的示例所需的属性如下：

capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default
capacity-scheduler:yarn.scheduler.capacity.root.alpha.capacity=20
capacity-scheduler:yarn.scheduler.capacity.root.beta.capacity=20
capacity-scheduler:yarn.scheduler.capacity.root.default.capacity=60

指定的所有容量之和等于根队列资源的100％。容量计划程序的全套配置选项可在Hadoop 文档中找到。