Apache Spark 与 Spring Cloud 数据流

Question

我是大数据处理的新手，我正在阅读有关流处理和构建数据管道的工具。我找到了 Apache Spark 和 Spring Cloud Data Flow。我想知道它们的主要区别和优缺点。有人可以帮我吗？

Answer 1

它们是两种完全不同的工具。

Spring Data Flow是一个用于构建数据集成和实时数据处理管道的工具包。此工具将帮助您使用 Spring Boot 应用程序（流或任务）编排数据管道。在幕后，SCDF 可能会使用 Spring Batch。注意这个 Spring Boot Apps 可以调用 Spark 或 Kafka 应用程序来支持流处理。

Apache Spark是一个数据处理引擎，它被高度用于数据密集型处理和数据科学。它具有诸如 ML（机器学习）、Graph（图形处理）、与Apache Kafka（Spark Streaming）集成等库。

对于流媒体，我强烈建议您学习 Apache Kafka。