带有ON DUPLICATE KEY UPDATE的MySQL LOAD DATA INFILE

Question

为了将大量数据加载到MySQL中,LOAD DATA INFILE是迄今为止最快的选择.不幸的是,虽然这可以以INSERT IGNORE或REPLACE的方式使用,但目前不支持ON DUPLICATE KEY UPDATE.

但是,ON DUPLICATE KEY UPDATE有优势REPLACE.当存在重复时,后者执行删除和插入.这为密钥管理带来了开销.此外,自动增量ID在替换时不会保持不变.

ON DUPLICATE KEY UPDATE使用LOAD DATA INFILE时如何模拟？

Answer 1

这些步骤可用于模拟此功能:

1)创建一个新的临时表.

CREATE TEMPORARY TABLE temporary_table LIKE target_table;

2)(可选)从临时表中删除所有索引以加快速度.

SHOW INDEX FROM temporary_table;
DROP INDEX `PRIMARY` ON temporary_table;
DROP INDEX `some_other_index` ON temporary_table;

3)将CSV加载到临时表中

LOAD DATA INFILE 'your_file.csv'
INTO TABLE temporary_table
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
(field1, field2);

4)使用ON DUPLICATE KEY UPDATE复制数据

SHOW COLUMNS FROM target_table;
INSERT INTO target_table
SELECT * FROM temporary_table
ON DUPLICATE KEY UPDATE field1 = VALUES(field1), field2 = VALUES(field2);

5)删除临时表

DROP TEMPORARY TABLE temporary_table;

使用SHOW INDEX FROM和SHOW COLUMNS FROM此过程可以针对任何给定的表自动执行.

Answer 2

我们可以在Jan 共享的答案中将第一个（两个步骤）替换为以下单个查询。

对于步骤 1 和 2，我们可以创建具有相同参考结构且没有任何索引的新表。

CREATE TEMPORARY TABLE temporary_table SELECT * FROM target_table WHERE 1=0;

代替。

1. 创建一个新的临时表。

   CREATE TEMPORARY TABLE temporary_table LIKE target_table;
   

2. 或者，从临时表中删除所有索引以加快速度。

   SHOW INDEX FROM temporary_table;
   DROP INDEX `PRIMARY` ON temporary_table;
   DROP INDEX `some_other_index` ON temporary_table;