oozie中Hive操作的作业队列

Question

我有一个oozie工作流程.我正在提交所有的蜂巢行动

<name>mapred.job.queue.name</name>
<value>${queueName}</value>

但是对于几个hive操作,启动的作业不在指定的队列中; 它在默认队列中调用.

请告诉我这种行为和解决方案背后的原因.

Answer 1

A. Oozie细节 Oozie将"常规"Hadoop属性传播到"常规"MapReduce Action.

但对于Oozie在YARN中运行单个Mapper任务的其他类型的Action(Shell,Hive,Java等),它并不认为它是真正的MapReduce作业.因此,它采用了不同组的无证性质始终前缀与oozie.launcher.查找到该职位的例子.

所以在你的情况下,要设置的实际属性是 oozie.launcher.mapred.job.queue.name

B. TEZ细节摘自HortonWorks文档:

例如,在Hive中,您可以使用hive-site.xml中的tez.queue.name属性 来指定用于Hive-on-Tez作业的队列.要分配Hive-on-Tez作业以使用"工程"队列,请将以下属性添加到hive-site.xml:

<property>  <name>tez.queue.name</name> <value>engineering</value> </property>