我可以提交包含多个配置文件的oozie作业吗？

Question

从Oozie CLI我想做这样的事情:

oozie job -oozie http://host:port/oozie -config jobConfig.properties, baseConfig.properties -submit

我正在运行很多不同的工作,其中.properties文件的一部分是相同的.我希望能够将该重复部分移动到单个baseConfig.properties文件中,并在我提交作业时将其与作业特定部分相结合.

Answer 1

如果被覆盖的属性数量很少,您只需引用基本配置文件,然后-Dprop1=value对要自定义的每个属性使用表示法.

否则我认为你有两个(可能是三个)替代方案(因为你不能将多个配置选项传递给当前的OOZIE客户端):

1. 创建一个脚本,将基本和特定于作业的属性文件连接在一起,并运行带有合并文件名称的oozie
2. 使用OozieCLI中的源作为起点,编写一个可以处理该-config选项的CSV值的扩展类,或者可以处理多个-config参数实例
3. 您是否能够将公共属性移动到每个操作的静态jobXml文件中,那么您只需要一个配置文件来查找作业运行之间的实际差异.