有没有一种简单的方法可以在Python中将数据库数据从SQLite逐表迁移到Postgres？

Question

Python 中有没有一种简单的方法可以从 SQLite 逐表迁移到 Postgres？我正在使用 Peewee，可以生成 SQLite 转储，但没有可用于导入到 Postgres 的 psql。Python 中有一个包可以实现这个功能吗？我还使用 Peewee 作为 ORM，并且涵盖了生成模式位，问题是数据。

数据库有点大，1.3gb

Answer 1

你有很多选择。最简单的可能是使用 Sqlite 的“.dump”shell 命令来生成 SQL。您可以通过多种选项或方法来执行此操作。您可以使用“.dump”来转储所有架构和数据，然后对转储文件进行任何修改，然后将其加载到 postgres 中。

要将表“my_table”的行数据转储为 CSV，您可以使用：

sqlite> .headers on
sqlite> .mode csv
sqlite> .output model_data.csv
sqlite> SELECT * FROM my_table;

然后您可以使用 Postgres 批量加载 CSV：

COPY table_name(col1, ...)
FROM 'model_data.csv'
DELIMITER ','
CSV HEADER;

Peewee 可以以多种格式转储数据，因此这是一种选择：

models = [User, Tweet]
for model in models:
    outfile = '%s.csv' % model._meta.table_name
    with open(outfile, 'w', newline='') as f:
        writer = csv.writer(f)
        row_iter = model.select().tuples().iterator()
        writer.writerows(row_iter)

另一种选择是使用 Postgres 外部数据包装器。然后连接到 psql db，使用 fdw 附加 sqlite 数据库，并使用 psql shell 从一个数据库直接复制到另一个数据库。

https://github.com/pgspider/sqlite_fdw