Postgres:在重新创建/重新填充bash脚本之前清除整个数据库

Hof*_*off 116 database postgresql backup

我正在编写一个shell脚本(将成为一个cronjob),它将:

1:转储我的生产数据库

2:将转储导入我的开发数据库

在步骤1和2之间,我需要清除开发数据库(删除所有表?).如何从shell脚本中最好地完成?到目前为止,它看起来像这样:

#!/bin/bash
time=`date '+%Y'-'%m'-'%d'`
# 1. export(dump) the current production database
pg_dump -U production_db_name > /backup/dir/backup-${time}.sql

# missing step: drop all tables from development database so it can be re-populated

# 2. load the backup into the development database
psql -U development_db_name < backup/dir/backup-${time}.sql
Run Code Online (Sandbox Code Playgroud)

Hae*_*aes 165

我只是删除数据库,然后重新创建它.在UNIX或Linux系统上,应该这样做:

$ dropdb development_db_name
$ createdb developmnent_db_name
Run Code Online (Sandbox Code Playgroud)

实际上,我就是这样做的.

  • 但是......那么数据库权限和所有权呢? (33认同)
  • 节省我时间的一个技巧是$ sudo -u postgres dropdb DATABASE_NAME (7认同)
  • @EmanuelePaolini`createb --owner = db_owner [--template = template0 --encoding = UTF8] db_name`我默认将最后两个添加到所有数据库 (6认同)
  • 是的.这是更好的,因为可能有对象不是您正在恢复的转储的一部分.在这种情况下,他们肯定会被杀死. (3认同)

Ban*_*i-T 84

如果你实际上不需要以纯文本的.sql脚本文件格式倾倒到磁盘上的数据库进行备份,你可以连接pg_dumppg_restore通过管道直接在一起.

要删除并重新创建表,可以使用--clean命令行选项pg_dump发出SQL命令,以便在创建它们(命令)之前清理(删除)数据库对象.(在重新创建数据库之前,这不会丢弃整个数据库,只会丢弃每个表/序列/索引/等.)

以上两个看起来像这样:

pg_dump -U username --clean | pg_restore -U username
Run Code Online (Sandbox Code Playgroud)

  • 注意: - clean选项仅删除恢复文件中找到的那些关系.这意味着如果您添加一个表进行测试,然后想要删除它(例如与生产数据库同步),它将被*删除. (35认同)
  • 请记住,pg_dump的* - clean*选项仅适用于纯文本备份,这一点很重要.正如文档中明确指出的那样http://www.postgresql.org/docs/9.4/static/app-pgdump.html,您需要在pg_restore上使用--clean来存档备份. (6认同)
  • 有没有办法在"--clean"选项中包含级联.因为这个选项看起来没用.我得到"错误:不能将架构公开,因为其他对象依赖于它",就像100%的时间使用它一样. (6认同)
  • 我喜欢这个解决方案,因为我确实想要一个备份副本,我现在这样做: pg_dump -Ft -U production_db_name &gt; /backup/dir/backup-${time}.tar pg_restore -U development_db_name -d development_db_name -O - -clean /backup/dir/backup-${time}.tar 就像一个魅力,感谢您的帮助! (3认同)

Fra*_*ack 13

虽然以下行是从Windows批处理脚本中获取的,但该命令应该非常相似:

psql -U username -h localhost -d postgres -c "DROP DATABASE \"$DATABASE\";"
Run Code Online (Sandbox Code Playgroud)

此命令用于通过实际删除它来清除整个数据库.命令中的$DATABASE(在Windows中应该是%DATABASE%)是一个Windows样式环境变量,其值为数据库名称.你需要用你的替代品development_db_name.

  • 那么为什么不使用已经可用的`dropdb`和`createdb`命令呢?如果可以运行psql,则也可以运行它们。 (3认同)

Mas*_*iri 13

彻底清除数据库

注意:pg_dump 和 pg_restore 不会完全清除整个数据库。

DROP SCHEMA public CASCADE;
CREATE SCHEMA public;
Run Code Online (Sandbox Code Playgroud)

如果您使用 PostgreSQL 9.3 或更高版本,您可能还需要恢复默认授权。

GRANT ALL ON SCHEMA public TO <your_db_username>;
GRANT ALL ON SCHEMA public TO public;
Run Code Online (Sandbox Code Playgroud)


小智 11

如果要清理名为“example_db”的数据库:

1)登录到另一个数据库(例如'postgres'):

psql postgres
Run Code Online (Sandbox Code Playgroud)

2)删除您的数据库:

DROP DATABASE example_db;
Run Code Online (Sandbox Code Playgroud)

3)重新创建您的数据库:

CREATE DATABASE example_db;
Run Code Online (Sandbox Code Playgroud)


mir*_*los 10

注意:我的回答是关于真正删除表和其他数据库对象;为了删除表的所有数据,即截断所有表,Endre Both 一个月后提供了类似良好执行(直接执行)的语句。

对于您不能只是DROP SCHEMA public CASCADE;DROP OWNED BY current_user;或其他事情的情况,这是我编写的一个独立的 SQL 脚本,它是事务安全的(即您可以将它放在两者之间BEGIN;,或者ROLLBACK;只是测试它或COMMIT;实际执行操作)和清理“所有”数据库对象……好吧,我们应用程序使用的数据库中使用的所有对象,或者我可以明智地添加,即:

  • 表上的触发器
  • 表上的约束(FK、PK CHECK、、UNIQUE
  • 印度?
  • VIEWs(正常或物化)
  • 桌子
  • 序列
  • 例程(聚合函数、函数、过程)
  • 所有n?n-default(即不是public或DB-internal)模式“我们”拥有:脚本在作为“非数据库超级用户”运行时很有用;超级用户可以删除所有模式(但仍然明确排除真正重要的模式)
  • 扩展(用户提供的,但我通常故意将它们留在里面)

未删除的是(有些是故意的;有些只是因为我的数据库中没有示例):

  • public模式(例如用于扩展他们提供的东西)
  • 排序规则和其他语言环境的东西
  • 事件触发器
  • 文本搜索的东西,...(见这里我可能错过的其他东西)
  • 角色或其他安全设置
  • 复合类型
  • 吐司桌
  • FDW 和外部表

当您要恢复的转储与您要恢复到的数据库具有不同的数据库模式版本(例如,使用 Debian 、Flyway 或 Liquibase/DB-Manul)时,这非常有用dbconfig-common

我还有一个版本,它删除“除了两个表和属于它们的所有内容”(一个序列,手动测试,对不起,我知道,无聊)以防有人感兴趣;差异很小。如果有兴趣,联系我或查看此 repo

SQL

-- Copyright © 2019, 2020
--      mirabilos <t.glaser@tarent.de>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un?
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indic?s
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ?10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- n?n-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;
Run Code Online (Sandbox Code Playgroud)

在 PostgreSQL 9.6 ( )上测试,除了后来的添加(extensionsClément Prévost贡献jessie-backports)。在 9.6 和 12.2 上测试了骨料去除,也在 12.2 上测试了程序去除。欢迎修正错误和进一步改进!


小智 7

转储:

pg_dump -Fc mydb > db.dump
Run Code Online (Sandbox Code Playgroud)

恢复:

pg_restore --verbose --clean --no-acl --no-owner -h localhost -U myuser -d my_db db/latest.dump
Run Code Online (Sandbox Code Playgroud)


Tro*_*roy 6

我用过:

pg_restore -c -d database_name filename.dump
Run Code Online (Sandbox Code Playgroud)