相关疑难解决方法(0)

Kafka Processor API:Source 和 StateStore 的不同键?

我们目前正在实施一个流程(使用 Kafka Processor API),我们需要将来自主题的 2 个相关事件(消息)的信息组合起来,然后转发这些组合信息。事件源自 IoT 设备,并且由于我们希望将它们保持有序,因此源主题使用设备标识符作为键。这些事件还包含一个相关 ID:

钥匙

{ deviceId: "..." }
Run Code Online (Sandbox Code Playgroud)

信息

{ deviceId: "...", correlationId: "...", data: ...}
Run Code Online (Sandbox Code Playgroud)

我们的第一种方法是创建一个具有连接状态存储的处理器,该状态存储使用相关 ID 作为键存储每条传入消息。这使我们能够在存储中查询传入消息的相关 ID,如果存储中已经存在具有相同 ID 的消息,我们可以组合这些信息,转发新事件并从存储中删除条目。因此,对于每个关联 ID,都会发生以下情况:在某个时间点,使用并存储具有该 ID 的第一条消息,而在其他时间点,具有该 ID 的第二条消息导致存储条目被删除。

状态键

{ correlationId: "..." }
Run Code Online (Sandbox Code Playgroud)

状态值

{ event: { deviceId: "...", correlationId: "...", data: ... }}
Run Code Online (Sandbox Code Playgroud)

但是现在我们想知道 Kafka Streams 如何处理不同的密钥。我们正在使用微服务方法,并且该服务将运行多个实例。该商店由内部主题自动支持。考虑重新缩放服务实例,重新平衡源主题和状态主题的分区。是否有可能将特定关联 ID 的分区分配给其他服务而不是相应设备 ID 的分区?我们是否会遇到这样一种情况,即具有相同关联 ID 的第二个事件将被服务实例使用,而该服务实例无权访问已存储的第一个事件?

提前致谢!

apache-kafka apache-kafka-streams

6
推荐指数
1
解决办法
600
查看次数

标签 统计

apache-kafka ×1

apache-kafka-streams ×1