事件中心是否旨在用于事件溯源/仅追加日志架构

ran*_*ons 6 transaction-log azure-eventhub azure-eventhub-capture

事件中心不允许您存储超过 7(最多 30)天的消息。具有这些限制的 Azure 建议的 PaaS 事件溯源架构是什么?如果是事件中心 + 快照,如果我们需要以某种方式重建该状态会发生什么?另外,事件中心是对 KSQL/Spark Azure 流分析的回答吗?

Sre*_*ati 8

好问题!

是的,EventHubs旨在用于Event SourcingAppend-only log模式。EventHubs 可以用作SPARK等流处理和分析引擎的源/接收器,因此不是它的竞争对手。通常,EventHubs 提供与 Apache Kafka 类似的功能。

& 是的,从 append-only 日志实现重建事务Snapshotting绝对是推荐的方法!

在塑造EventHubs为产品供应时,我们为 - 分配默认值的考虑retentionPeriod是 -

  • 大多数关键系统每隔几分钟就会创建一次快照。
  • 围绕此的大多数设计模式建议保留旧快照以进行重建

因此,很明显我们不需要无限日志,对于大多数用例来说,一天的时间限制就可以了。因此,我们从默认的 1 天开始 - 并给出了一个直到 7 天的旋钮。

如果您认为,您会遇到这样的情况,您必须及时返回 7 天以上才能重建快照(例如:用于调试 - 这通常不是 99% 的情况 - 但是,同意设计和适应因为这是非常明智的),推荐的方法是将数据推送到档案存储。

当我们usage Metrics表明我们的许多客户都有一个EventHubs consumer group专门用于将数据推送到档案存储的功能时 - 我们希望开箱即用地启用此功能,然后开始提供 -事件中心捕获功能

更多关于事件中心的信息。


Mik*_*kov 5

事件中心应该用于临时存储事件,同时在数据存储实例之间移动它们。您必须将它们加载到某个永久存储以无限期使用,例如 Cosmos DB。

KSQL 有点类似于 Azure 流分析。Spark 是一个更广泛的产品,但您可以使用 Spark 来处理事件中心数据。

PS 我不是微软的官方发言人,所以这只是我的观点。