小编Cad*_*nge的帖子

PostgreSQL 上的主动式自动清理

我试图让 PostgreSQL 积极地自动清空我的数据库。我目前已按如下方式配置自动真空吸尘器:

  • autovacuum_vacuum_cost_delay = 0 #关闭基于成本的真空
  • autovacuum_vacuum_cost_limit = 10000 #最大值
  • autovacuum_vacuum_threshold = 50 #默认值
  • autovacuum_vacuum_scale_factor = 0.2 #默认值

我注意到自动真空仅在数据库未加载时才会启动,因此我遇到死元组比活元组多得多的情况。有关示例,请参阅随附的屏幕截图。其中一张表有 23 个活动元组,但有 16845 个死元组等待真空。这太疯狂了!

很多死元组

当测试运行完成并且数据库服务器空闲时,自动真空开始,这不是我想要的,因为我希望自动真空在死元组数量超过 20% 活元组 + 50 时启动,因为数据库已经配置。服务器空闲时的自动真空对我来说是无用的,因为生产服务器预计会在持续时间内达到 1000 次更新/秒,这就是为什么即使服务器负载不足我也需要自动真空运行。

有什么我想念的吗?如何在服务器负载较重时强制运行自动吸尘器?

更新

这可能是一个锁定问题吗?有问题的表是通过插入后触发器填充的汇总表。这些表以 SHARE ROW EXCLUSIVE 模式锁定,以防止并发写入同一行。

postgresql performance vacuum performance-testing

46
推荐指数
5
解决办法
5万
查看次数

PostgreSQL 初始数据库大小

我的问题有两个部分。

  1. 有没有办法在 PostgreSQL 中指定数据库的初始大小?
  2. 如果没有,当数据库随着时间的推移而增长时,您如何处理碎片?

我最近从 MSSQL 迁移到 Postgres,我们在 MSSQL 世界中创建数据库时所做的一件事是指定数据库和事务日志的初始大小。这减少了碎片并提高了性能,特别是如果事先知道数据库的“正常”大小。

我的数据库的性能随着大小的增长而下降。例如,我处理的工作负载通常需要 10 分钟。随着数据库的增长,这个时间会增加。执行 VACUUM、VACUUM FULL 和 VACUUM FULL ANALYZE 似乎不能解决问题。解决性能问题的是停止数据库,对驱动器进行碎片整理,然后进行 VACUUM FULL ANALYZE 使我的测试性能恢复到原来的 10 分钟。这让我怀疑是碎片化是导致我痛苦的原因。

我在 Postgres 中找不到任何关于保留表空间/数据库空间的参考。要么我使用了错误的术语,因此一无所获,要么在 Postgres 中有一种不同的方法来减轻文件系统碎片。

任何指针?

解决方案

提供的答案有助于确认我开始怀疑的内容。PostgreSQL 将数据库存储在多个文件中,这使得数据库可以增长而不必担心碎片化。默认行为是将这些文件与表数据一起打包,这对很少更改的表有好处,但对经常更新的表不利。

PostgreSQL 利用MVCC提供对表数据的并发访问。在此方案下,每次更新都会创建已更新行的新版本(这可能是通过时间戳或版本号,谁知道?)。旧数据不会立即删除,而是标记为删除。执行 VACUUM 操作时会发生实际删除。

这与填充因子有什么关系?表默认填充因子 100 完全填充表页,这反过来意味着表页内没有空间来保存更新的行,即更新的行将放置在与原始行不同的表页中。正如我的经验所示,这对性能不利。由于我的汇总表更新非常频繁(高达 1500 行/秒),我选择将填充因子设置为 20,即表的 20% 用于插入行数据,80% 用于更新数据。虽然这可能看起来过多,但为更新行保留的大量空间意味着更新行与原始行保持在同一页内,并且在 autovacuum 守护程序运行以删除过时行时表页未满。

为了“修复”我的数据库,我执行了以下操作。

  1. 将我的汇总表的填充因子设置为 20。您可以在创建时通过将参数传递给CREATE TABLE或事后通过 ALTER TABLE 来执行此操作。我发出了以下 plpgsql 命令:ALTER TABLE "my_summary_table" SET (fillfactor = 20);
  2. 发出 VACUUM FULL,因为这会写入一个全新版本的表文件,因此暗示会写入一个具有新填充因子的新表文件

重新运行我的测试,即使数据库达到我需要的数百万行,我也没有发现性能下降。

TL;DR …

postgresql sql-server database-size fragmentation

12
推荐指数
2
解决办法
6935
查看次数

分片 Postgres 数据库

我有一个 Postgres 数据库,它已经增长到无法将所有内容存储在单个数据库节点上的大小。Customer我的架构中有一个表,其中每一行代表一个(惊喜!)客户。我的数据库中的每个其他表都是这个客户表上的外键,我想沿着客户范围对我的数据库进行分片。例如,我希望id1 - 100 的客户转到数据库节点 A,101 - 200 转到数据库节点 B,依此类推。

我找到了有关表分区的信息,但我发现很少有其他内容可以向我展示如何在 Postgres 中启用数据库分区。

在 Postgres 中分片数据库有哪些选择?如果无法进行分片,我的替代方案是什么?

postgresql partitioning scalability sharding

5
推荐指数
1
解决办法
4943
查看次数