使用 sqlite 的 .import 命令行插入速度非常慢

Question

我正在尝试将一个包含大约 450 万个条目、350 个字段和 2 个索引（我没有设计）的数据库从 .csv 导入到 sqlite 数据库中。我读到的大多数性能问题都涉及不使用批处理事务和类似的各种事情，但我想使用 sqlite 命令行导入会尽可能快。但我每秒只能插入大约 150 次。有没有办法以某种方式加快速度？

就我所尝试的而言，我已经重新创建了没有两个索引的表模式，并且我尝试根据我从谷歌搜索中读到的建议将 PRAGMA Synchronous 设置为关闭，但这些都没有帮助，我仍然获得相同的插入/分钟。

无论出于何种原因，前 5,000 次插入似乎几乎立即发生，但之后速度减慢至每秒 150 次左右。

Answer 1

您可以尝试执行一些操作来加快导入速度。

1. 关闭日志记录 - PRAGMA Journal_mode = OFF
2. 如果您要将资源导入到虚拟机，直到导入完成
3. 也许将您的 csv 转换为转储文件，因为它是 SQLite 本机的并且应该导入得更快

这些都没有帮助你可以尝试使用 sqlite-utils Python 库。这将允许您使用 import_csv 函数，这可能会导致更快的导入。一天结束时，您将处理一个巨大的数据集。