ven*_*nky 5 hadoop oozie oozie-coordinator
在oozie中,input-events非常简单,如果指定的文件/文件夹不存在,协调器作业将保持WAITING状态.但我无法理解是什么output-events.
根据我的理解,output-events标签中指定的文件/文件夹应由oozie创建,以防所有指定的操作成功.但这不会发生.我也找不到任何相关的日志.文件也没有明确说明这一点.
所以,问题是,Oozie真的创建了指定的文件/文件夹output-events吗?或者它只是提到这些特定的文件/文件夹是在工作流程中创建的,创建的责任在于工作,而不是在Oozie上?
相关的代码可以在https://gist.github.com/venkateshshukla/de0dc395797a7ffba153找到
Oozie Coordinator的官方Oozie文档在该output-events元素的确切用途上还不太清楚。但是,《 Apache Oozie:Hadoop的工作流调度程序》一书提到了以下内容:
在重新处理协调器的过程中,Oozie尝试通过默认情况下清理输出目录来帮助重试。为此,它使用
<output-events>协调器XML中的规范在运行新尝试之前删除旧输出。用户可以使用该–noCleanup选项覆盖此默认行为。
因此,总而言之:
output-eventsOozie不会自动创建其中指定的文件,您需要在Oozie工作流程操作中创建这些文件。output-events配置用于向Oozie提供有关您的Oozie工作流程操作将创建哪些文件的信息,Oozie在重新运行/重新处理协调程序时将使用这些信息来清理文件。| 归档时间: |
|
| 查看次数: |
719 次 |
| 最近记录: |