Hir*_*ren 7 apache-spark akka-stream
使用akka stream vs spark stream进行流处理有什么优势/劣势？比如,内置背压,性能,容错,内置转换,灵活性等.我不是要求akka vs spark pros/cons严格的流媒体组件.另外我并不是要求引擎框架架构的区别.
Ach*_*eus 17
Akka Streams和Spark溪流来自两个不同的土地.不要让"溪流"这个词混淆你.
Akka流实现了一种称为反应式清单的功能,它可以很好地实现真正的低延迟,并且可以让很多操作员轻松地在流上编写声明性转换.有关详情,请访问https://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivation.
Spark Streaming aka Structured Streaming从2.2开始仍然是处理大量数据(大数据)的微批处理方法.收集事件,然后每隔几秒小批量地定期处理.
Akka流基本上不是分布式的,不会跨群集扩展,不像Spark.Akka流使用Akka的actor模型来实现并发.
Akka流是一个工具包,Spark是一个框架.PS:即使我几个月前也有同样的问题.花了一段时间才得到我的答案.希望它有所帮助.
| 归档时间： |
|
| 查看次数： |
2355 次 |
| 最近记录： |