Apache Spark或Cascading框架？

Question

我很困惑何时使用Cascading框架以及何时使用Apache Spark.每个人的适用用例是什么？

任何帮助表示赞赏.

Answer 1

从本质上讲,Cascading是MapReduce等执行引擎之上的高级API.在这个意义上它类似于Apache Crunch.Cascading还有一些其他相关项目,如Scala版本(Scalding)和PMML评分(Pattern).

Apache Spark在某种意义上类似于它为数据管道公开了一个高级API,以及Java和Scala中提供的API.

它更像是一个执行引擎本身,而不是一个层之上的层.它有许多相关项目,如MLlib,Streaming,GraphX,用于ML,流处理,图形计算.

总的来说,我今天发现Spark更有趣,但它们并不完全相同.