我使用 Apache Hive 2.1.1-cdh6.2.1(Cloudera 发行版)与 MR 作为执行引擎和 YARN 的资源管理器使用容量调度程序。
我想尝试将 Spark 作为 Hive 的执行引擎。在浏览文档时,我发现了一个奇怪的限制:
需要公平调度程序而不是容量调度程序。这为 YARN 集群中的作业公平分配了相等的资源份额。
正确设置所有队列,这对我来说是非常不可取的。
是否可以使用 YARN 容量调度程序在 Spark 上运行 Hive?如果不是,为什么?
hadoop hive hadoop-yarn apache-spark
apache-spark ×1
hadoop ×1
hadoop-yarn ×1
hive ×1