验证两个postgresql数据库之间的数据一致性

Question

这特别是关于保持使用各种复制解决方案的信心,您可以将其故障转移到其他服务器而不会丢失数据.或者在主 - 主情况下,如果其中一个数据库失去同步,您可以在合理的时间内知道.

是否有任何工具可用于此,或者人们通常依赖复制系统本身来警告不一致？我目前最熟悉在主 - 备用设置中的postgresql WAL运输,但我正在考虑使用像PgPool这样的主 - 主设置.但是,由于该解决方案与PostgreSQL本身的关系不那么直接(我的基本理解是它提供了应用程序将使用的连接,因此拦截了各种SQL语句,然后将它们发送到其池中的任何服务器)它让我更多地考虑实际验证数据的一致性.

具体要求:

1. 我不是在谈论桌面结构.我想知道实际的记录数据是一样的,所以我知道记录是否已损坏或丢失(在这种情况下,我会使用最近的备份+ WAL文件重新初始化坏数据库,然后再将其恢复进入游泳池)

2. 数据库大约为30-50 GB.我怀疑原始的SELECT查询是否能很好地工作.

3. 我不认为需要实时检查(当然,它会很好).每小时甚至每天都会比什么都好.

4. 块级检查不起作用.它将是两个具有独立存储的数据库.

或者这种类型的验证是不现实的？

Answer 1

如果您正在寻找整个表，您应该能够执行类似的操作（假设表很容易放入 RAM）：

SELECT md5(array_to_string(array_agg(mytable), ' '))
  FROM mytable order by id;

这将为您提供表上元组表示的哈希值。

请注意，您可以按范围等对其进行细分。根据复制类型，您甚至可以按页面范围进行细分（对于流式复制）。