如何将CSV文件迁移到Sqlite3(或MySQL)？ - Python

Question

我正在使用Python来逐行保存数据......但这非常慢!

CSV包含7000万行,使用我的脚本,我可以每秒存储1千行.

---

这就是我的脚本的样子

reader = csv.reader(open('test_results.csv', 'r'))
for row in reader:
    TestResult(type=row[0], name=row[1], result=row[2]).save()

---

我认为对于测试我可能不得不考虑MySQL或PostgreSQL.

任何想法或提示？这是我第一次处理如此庞大的数据量.:)

Answer 1

对于 MySQL 导入：

mysqlimport [options] db_name textfile1 [textfile2 ...]

对于 SQLite3 导入：

ref如何将 .sql 或 .csv 文件导入到 SQLite 中？