Sqlite3 Python:如何进行有效的批量更新？

Question

我可以使用以下代码在Python(2.7)上的Sqlite3中进行非常高效的批量插入:

cur.executemany("INSERT INTO " + tableName + " VALUES (?, ?, ?, ?);", data)

但我无法获得有效工作的更新.我认为这可能是数据库结构/索引的问题,但即使在只有一个100行表的测试数据库上,更新仍然需要大约2-3秒.

我尝试了不同的代码变体.我的最新代码是从前一个关于更新和执行的问题的答案,但它对我来说和我做的任何其他尝试一样慢:

data = []
for s in sources:
    source_id = s['source_id']
    val = get_value(s['source_attr'])
    x=[val, source_id]
    data.append(x)
cur.executemany("UPDATE sources SET source_attr = ? WHERE source_id = ?", data)
con.commit()

如何有效地改进此代码以进行大量更新？

Answer 1

插入记录时，数据库只需要在表的末尾写入一行（除非您有诸如 UNIQUE 约束之类的东西）。

更新记录时，数据库需要查找该行。这需要扫描整个表（对于每个命令），除非您在搜索列上有索引：

CREATE INDEX whatever ON sources(source_id);

但如果source_id是主键，您应该这样声明它（这会创建一个隐式索引）：

CREATE TABLE sources(
    source_id INTEGER PRIMARY KEY,
    source_attr TEXT,
    [...]
);