并行运行Oozie操作

Mar*_*icz 2 hadoop hue oozie

我正在使用Hue的工作流编辑器来开发Oozie工作流程.有一些行动应该并行执行.

是否可以同时执行两个或多个操作?
我怎样才能在顺化中进行设置?

Mar*_*icz 6

对的,这是可能的.在各种Oozie工作流节点中,有两个控制节点forkjoin:

fork节点将一个执行路径拆分为多个并发执行路径.

连接节点等待,直到前一个fork节点的每个并发执行路径到达它.

fork和join节点必须成对使用.join节点假定并发执行路径是同一fork节点的子节点.

Hue确实支持它,虽然它不是很直观 - 你可以在工作流上拖放操作,但你不能对控制节点做同样的事情.

要分割一个执行路径成两个并行的,拖动一个动作到另一个(例如step_Bstep_A在下面的示例):

Oozie  - 让动作并发 这将fork自动添加节点并在下面放置相应的操作:

Oozie  -  fork控制节点

  • Oozie源代码的链接很有帮助. (2认同)