在 PostgreSQL 中旋转表

fil*_*rem 5 postgresql partitioning transaction alter-table

问题描述

我需要旋转(使用 DROP 和 CREATE)一个被其他客户端大量使用的表。

目前,我有一个程序可以替换(DROP + CREATE)这个表。

有时,就在表被替换后,我从访问表的并发客户端收到“错误:无法打开与 OID xyz 的关系”。

可以说这种行为打破了事务隔离......是吗?

我知道这是由 postgres 后端缓存的系统目录引起的(这通常是一件好事)。我是对的吗?

有什么方法可以强制后端“忘记”表 OID(DISCARD没有帮助)?

我知道如果我切换到“DELETE and INSERT”模式而不是“DROP and CREATE”模式会有所帮助。但这是一些遗留程序,除非绝对需要,否则我们不想更改它。

对于如何摆脱这个问题的任何建议,我将不胜感激。

目标是为其他客户端透明地旋转表格。

测试用例

这是我将问题简化为的最小测试用例:

A. 这是客户端(多个客户端将并行运行此 SELECT)。我们将使用pgbench来强调数据库。

$ echo "SELECT num FROM x;" > pgbench.minimal.sql
Run Code Online (Sandbox Code Playgroud)

B. 这是“旋转器”。

$ cat > rotate.x.sql <<EOF
BEGIN;
DROP TABLE x;
CREATE TABLE x ( num integer );
COMMIT;
EOF
Run Code Online (Sandbox Code Playgroud)

C.创建空数据库和表x。

$ createdb dev
$ psql dev -c "CREATE TABLE x ( num integer )"
Run Code Online (Sandbox Code Playgroud)

D. 启动 30 个客户端。

$ pgbench -c 30 dev -T 60 -n -f pgbench.minimal.sql
Run Code Online (Sandbox Code Playgroud)

E.(在其他终端)运行“rotator”。

$ psql dev -f rotate.x.sql
Run Code Online (Sandbox Code Playgroud)

F. 观察客户端发生了什么(就在“旋转器”提交之后)。

Client 4 aborted in state 1: ERROR:  could not open relation with OID 170429513
LINE 1: SELECT num FROM x;
                        ^
Client 0 aborted in state 1: ERROR:  could not open relation with OID 170429513
LINE 1: SELECT num FROM x;
                        ^
Run Code Online (Sandbox Code Playgroud)

(......等等 - 每个客户端都失败了)

评论和想法

有趣的是 - 即使客户端在“每个事务的新连接”模式下工作(向 pgbench 添加“-C”选项),也会发生同样的错误。并非总是如此,也不是针对每个客户,但确实如此。

我前段时间在邮件列表上问过这个问题:http : //archives.postgresql.org/pgsql-general/2012-04/msg00431.php - 这个帖子只是一个副本。

对于更多观众:同样的事情适用于旋转分区。因此,对于所有使用分区的人来说,这可能会很有趣。

这一切都在 PostgreSQL 9.0,Linux 上。

解决方案

(感谢克里斯特拉弗斯)

filip@srv:~$ cat rotate.x.sql
BEGIN;
DROP TABLE IF EXISTS xold;
ALTER TABLE x RENAME TO xold;
CREATE TABLE x ( num integer );
COMMIT;
Run Code Online (Sandbox Code Playgroud)

Chr*_*ers 4

ALTER TABLE RENAME 后跟 CREATE TABLE 怎么样?

  • 那么关系(表中的外键和表中的外键)怎么样,在这种情况下它们是如何处理的? (2认同)