工作流工具comaparison:Oozie Vs Cascading

use*_*636 7 hadoop mapreduce cascading oozie

我正在寻找一个工作流工具来运行复杂的map-reduce作业.我考虑过Oozie,但也想探索Cascading.是否有使用级联API链接现有M/R作业的示例代码或示例?另外,你能提供比较Oozie Vs Cascading吗?

小智 7

Cascading和Oozie属于同一类别.

Oozie是一个工作流程调度程序.

级联是用于创建工作流的API.它与调度程序无关,即它应该与您使用的任何调度程序系统一起运行.

可能有一些混乱,因为Oozie文档提到了"DAG",并且都在Hadoop上面运行.

此外,Cascading在检查点支持中具有"数据可用性"的概念,这在Oozie中得到了支持,尽管有所不同.