在实践中(非理论),小批量与实时流之间有什么区别？从理论上讲,我理解迷你批量是在给定的时间范围内批量生成的,而实时流式更像是在数据到达时做某事但是我最大的问题是为什么不使用epsilon时间框架(比如说一毫秒)或我想了解为什么一个人比其他人更有效的解决方案？
我最近遇到了一个例子,其中迷你批处理(Apache Spark)用于欺诈检测,实时流(Apache Flink)用于欺诈预防.有人还评论说小批量不是防止欺诈的有效解决方案(因为目标是防止交易发生)现在我想知道为什么这对迷你批次(Spark)不会那么有效？为什么以1毫秒的延迟运行迷你批处理无效？批处理是一种在任何地方使用的技术,包括操作系统和内核TCP/IP堆栈,其中磁盘或网络的数据确实被缓冲,那么说一个比其他更有效的令人信服的因素是什么？
data-processing stream-processing batch-processing apache-spark apache-flink
当我访问Apache Spark Streaming网站时,我看到一句话:
Spark Streaming可以轻松构建可扩展的容错流应用程序.
在Apache Flink网站上,有一句话:
Apache Flink是一个用于可扩展批处理和流数据处理的开源平台.
什么意思streaming application和batch data processing,stream data processing？你能举一些具体的例子吗？它们是否针对传感器数据设计？