Oozie:oozie会生成输出事件吗?

ven*_*nky 5 hadoop oozie oozie-coordinator

在oozie中,input-events非常简单,如果指定的文件/文件夹不存在,协调器作业将保持WAITING状态.但我无法理解是什么output-events.

根据我的理解,output-events标签中指定的文件/文件夹应由oozie创建,以防所有指定的操作成功.但这不会发生.我也找不到任何相关的日志.文件也没有明确说明这一点.

所以,问题是,Oozie真的创建了指定的文件/文件夹output-events吗?或者它只是提到这些特定的文件/文件夹是在工作流程中创建的,创建的责任在于工作,而不是在Oozie上?

相关的代码可以在https://gist.github.com/venkateshshukla/de0dc395797a7ffba153找到

sve*_*sch 5

Oozie Coordinator的官方Oozie文档在该output-events元素的确切用途上还不太清楚。但是,《 Apache Oozie:Hadoop的工作流调度程序》一书提到了以下内容:

在重新处理协调器的过程中,Oozie尝试通过默认情况下清理输出目录来帮助重试。为此,它使用<output-events>协调器XML中的规范在运行新尝试之前删除旧输出。用户可以使用该–noCleanup选项覆盖此默认行为。

因此,总而言之:

  • 不,output-eventsOozie不会自动创建其中指定的文件,您需要在Oozie工作流程操作中创建这些文件。
  • output-events配置用于向Oozie提供有关您的Oozie工作流程操作创建哪些文件的信息,Oozie在重新运行/重新处理协调程序时将使用这些信息来清理文件。


kec*_*cso 1

操作始终会生成数据,这些设置仅用于控制。您会在这里找到一些示例