在 kafka 中使用消息执行批处理协调所需的建议

Question

我正在使用微服务架构开发批处理。整个批处理过程中需要执行的一系列步骤将由不同的微服务执行。Kafka 被用作消息总线，所有微服务都使用 kafka 进行交互。

在批处理过程中，首先微服务从数据库中拉取数据，然后为拉取的每条记录创建一条消息，第二个微服务处理该消息，然后再次将消息发布到总线。

在一天结束时，我们需要对第一个微服务发布的消息与最后一个微服务发布的消息进行协调。

现在尝试使用另一个使用 spring 集成 kafka 读取来自这两个主题的消息的微服务来执行协调，但由于以下原因，这种方法似乎很复杂：1) 开始主题和结束主题将使用我的多个批处理。所以我最终会在为每个进程执行对帐时一遍又一遍地阅读相同的消息。2) 不确定如何聚合从这两个主题读取的消息，然后进行协调？3) 如果我需要重新进行对账，会遇到什么挑战？

Kafka 是否意味着用作存储来放置可用于对帐的消息/数据，或者我需要寻找其他一些我需要推送可用于执行对帐的消息的存储？如果是这样，我可以在这种情况下使用什么样的商店？

任何指针都会有帮助吗？