小编Goo*_*Dok的帖子

是否可以使用 YARN 容量调度程序在 Spark 上运行 Hive?

我使用 Apache Hive 2.1.1-cdh6.2.1(Cloudera 发行版)与 MR 作为执行引擎和 YARN 的资源管理器使用容量调度程序。

我想尝试将 Spark 作为 Hive 的执行引擎。在浏览文档时,我发现了一个奇怪的限制:

需要公平调度程序而不是容量调度程序。这为 YARN 集群中的作业公平分配了相等的资源份额。

正确设置所有队列,这对我来说是非常不可取的。

是否可以使用 YARN 容量调度程序在 Spark 上运行 Hive?如果不是,为什么?

hadoop hive hadoop-yarn apache-spark

5
推荐指数
1
解决办法
425
查看次数

标签 统计

apache-spark ×1

hadoop ×1

hadoop-yarn ×1

hive ×1