带有 Debezium 嵌入式连接器的外部偏移存储

Question

我的团队正在使用 Debezium 嵌入式连接器构建 CDC 服务。对于偏移存储，我们正在考虑使用 S3/DynamoDB。只是想知道这里是否有人写过类似的东西来外部化偏移商店以及他们选择了什么以及为什么选择它。

Answer 1

我们有一个 Postgres DB 作为源。更改数据捕获 (CDC) 由 Postgres 本身实现（通过扩展pglogic完成）。Postgres 的 CDC 子系统负责偏移量管理。CDC 子系统将维护 CDC 客户端（也称为插槽）列表。因此，如果您的客户端创建 CDC 连接，数据库将从该客户端之前断开连接的点（在同一插槽上）开始。新客户端将创建一个新槽并开始仅接收从该时间点开始创建的 CDC 记录。所以我们不需要记住偏移量。