执行大插入时,PostgreSQL连接意外关闭

Question

我正在使用之前从另一个数据库中选择的~11.000.000行填充PostgreSQL表.我正在使用Python和psycopg2.整个过程大约需要1.5小时才能完成.但是,大约30分钟后我得到"连接意外关闭"异常.源代码如下所示:

incursor = indb.cursor()
incursor.execute("SELECT ...")
indb.commit() # (1) close transaction
outcursor = outdb.cursor()
rows = 0
for (col1, col2, col3) in incursor: # incursor contains ~11.000.000 rows
    outcursor.execute("INSERT ...", (col1, col2, col3)) # This fails after ~30 minutes
    row += 1
    if row % 100 == 0: # (2) Write data every 100 rows
         outcursor.close()
         outdb.commit()
         outcursor = outdb.cursor()
incursor.close()
outcursor.close()
outdb.commit()

我插入(1)并(2)在第一次尝试失败后,假设打开的事务具有约30分钟的上限时间或者游标具有挂起插入的上限.似乎这些假设都不是真的,错误就在其他地方.

两个数据库都存储在VirtualBox机器上,我通过端口转发从主机连接.我在主机上运行程序.

这两个数据库仅用于测试目的,并且没有其他管理连接.也许我必须重写问题来解决这个问题,但我需要在其他地方非常耗时的插入(运行大约几天)所以我非常担心psycopg2PostgreSQL中的一些隐藏时间限制.

Answer 1

我不知道 postgresql 本身有任何这样的“隐藏”超时。PostgreSQL 确实有statement_timeout，但是如果你点击了，你应该ERROR: canceling statement due to statement timeout在服务器日志中得到一个（它也会记录被取消的语句）。我不能说 psycopg2。一定要检查服务器日志中是否有任何看起来相关的内容。

可能是网络问题？长时间运行的语句将是一个长时间处于空闲状态的 TCP 连接。也许您的端口转发会清除闲置超过 30 分钟的连接？也许您的 TCP 连接没有使用 keepalive。Postgresql 有一些用于调整 TCP keepalive 的设置（tcp_keepalives_interval 等），您可能还需要进行一些内核/网络配置以确保它们实际上已启用。

例如，我只是在这里尝试连接到我自己的机器，tcp_keepalives_interval默认为 7200，即 2 小时。如果您的端口转发在 30 分钟后中断，则此默认设置无效。您可以覆盖客户端连接字符串中使用的设置（假设您可以直接旋转 conninfo 字符串），或者在用户/数据库属性或 postgresql.conf 中设置 GUC 变量。

看：

• http://www.postgresql.org/docs/9.0/static/runtime-config-connection.html - 服务器设置
• http://www.postgresql.org/docs/9.0/static/libpq-connect.html - 客户端连接字符串设置