将KAFKA与现代In Memory内存数据网格（IMDG）进行比较

Question

我有一些IMDG经验，对KAFKA来说还很陌生。我正在尝试了解Kafka的用例。我了解这是一个流媒体/消息平台。它的许多问题在现代的In Memory Data Grids中都有一些对立部分。当有人希望使用Kafka和您希望使用IMDG时，您能否对用例进行一些说明？我需要画一个平行线。

我举一个例子。我注意到使用Kafka进行数据复制。尽管可能，但我认为IMDG在此方面更加强大和自动化。

我也对这两种技术如何相互补充感兴趣，因为我认为它们并不是直接竞争。

Answer 1

这两种类型的系统确实有一些功能重叠，但它们仍然是两种不同类型的系统，具有不同的主要目标。因为我们无法在主要特征上对它们进行比较。

Kafka 主要是一个发布/订阅持久消息代理。数据网格主要是内存中的缓存系统。这是人们选择使用的第一个区别或关键属性。

在第二个层面上，我认为这就是界限变得模糊的地方，两种类型的系统都提供某种具有数据摄取功能的分布式计算功能（Kafka Streams、Ignite 或 Hazelcast 计算网格/服务）。但这不能作为主要选择标准。

这两种类型在各自的主要目的上并不真正直接相互竞争。基于流的计算引擎可以使用数据网格进行计算或瞬态缓存，但我不知道它如何依赖计算/数据网格来实现可靠、独立的消息代理，因为它依赖于 Kafka 之类的东西它。

小型应用程序可能会放弃一种类型而使用另一种类型的次要功能，但对两种类型都有高需求的应用程序实际上可能需要使用两种类型的系统。

举个例子，如果您正在构建具有多个数据源的大容量数据管道，并且必须使用持久的消息代理，那么您可能必须使用 Kafka，但如果您同样对低延迟查询下游有强烈的要求，您还需要使用计算网格，无论是用于缓存还是分布式计算。