我正在研究什么基本上是一个高度可用的分布式消息传递系统。系统通过 HTTP 或 TCP 从某处接收消息，对其执行各种转换，然后将其发送到一个或多个目的地（也使用 TCP/HTTP）。
系统要求发送到给定目的地的所有消息都是有序的，因为有些消息建立在先前消息的内容之上。这限制了我们按顺序处理消息，每条消息大约需要 750 毫秒。因此，例如，如果有人每 250 毫秒向我们发送一条消息，我们将被迫将消息排在彼此后面。这最终会在高负载下在消息处理中引入无法容忍的延迟，因为每条消息在轮到它之前可能必须等待数百条其他消息被处理。
为了解决这个问题，我希望能够在不违反我们按顺序发送它们的要求的情况下并行化我们的消息处理。
我们可以轻松地横向扩展我们的处理。缺失的部分是一种确保即使消息被乱序处理的方法，它们也会被“重新排序”并按照接收顺序发送到目的地。我正在努力寻找实现这一目标的最佳方式。
Apache Camel 有一个叫做 Resequencer 的东西可以做到这一点，它包括一个很好的图表（我没有足够的代表直接嵌入）。这正是我想要的：接收无序消息并将它们按顺序排列的东西。
但是，我不希望它是用 Java 编写的，我需要该解决方案具有高可用性（即能够抵抗典型的系统故障，如崩溃或系统重新启动），我认为 Apache Camel 无法提供。
我们的应用程序是用 Node.js 编写的，使用 Redis 和 Postgresql 进行数据持久化。我们将Kue库用于我们的消息队列。尽管 Kue 提供优先排队，但功能集对于上述用例来说太有限了，所以我认为我们需要一种替代技术来与 Kue 协同工作来重新排序我们的消息。
我试图在网上研究这个话题，但我找不到预期的那么多信息。看起来像分布式架构模式的类型，会有大量的文章和实现，但我没有看到那么多。搜索诸如“消息重新排序”、“乱序处理”、“并行消息处理”等内容，可以找到大多数只是放宽基于分区或主题或诸如此类的“有序”要求的解决方案。或者，他们谈论在单台机器上的并行化。我需要一个解决方案：
我们目前的计划，对我来说很有意义，但我在网上找不到任何描述，是使用 Redis 来维护一组进行中和准备发送的消息，按到达时间排序。粗略地说，它是这样工作的：
我会编写一个小型 Node 库，它使用原子 Redis 事务通过优先级队列式 API 实现此行为。但这只是我自己想出来的，所以我想知道：是否有其他技术（理想情况下使用我们已经在使用的 Node/Redis 堆栈）可以解决重新排序乱序消息的问题? 或者是否有其他术语可以用作我可以用作研究关键字的此问题？谢谢你的帮助！