小编Jan*_*tel的帖子

即使 Fivetran 连接器保持同步,RDS Postgres 最旧的复制延迟在不活动期间也会增加

我正在使用 Fivetran 作为 ETL 层来设置数据仓库。源数据库之一是 AWS RDS Postgres 实例。

我已将 Postgres 实例配置为使用 test_decoding 插件执行 WAL 的逻辑复制。在办公时间内一切似乎都工作正常,但是在办公时间之外,当没有执行查询时,最旧的复制槽滞后大小正在增加,尽管 Fivetran 连接器执行同步。

您可以在下图中看到这一点。在红色框中,复制槽滞后大小正在增加(上图),而同步时刻每小时都会发生(下图)。我期望出现如绿框中所示的图表,复制槽滞后大小在同步时刻周围正在减小。

replication_log_size_staging_vs_ Fivetran_log

我就这个问题联系了 Fivetran,但他们还无法找出问题所在,因此我向社区询问。

我使用 Postgres 版本 13.3 和以下自定义配置:

  • max_slot_wal_keep_size20000
  • rds.logical_replication1
  • wal_sender_timeout0(Fivetran 要求)

其余的配置都是默认的。

我还检查了其他问题,只有一个可能接近https://dba.stackexchange.com/a/103806/235086,但我不确定它是否适用于这里,因为它是关于秒数而不是大小的滞后。

postgresql replication amazon-rds postgresql-13

3
推荐指数
1
解决办法
4510
查看次数