解析并在SQL中插入1000万条记录

Question

所以我在excel文件中有大约1000万条记录,必须以特定方式解析(我不能只转换为CSV并像这样插入)并插入到mysql数据库的不同表中.我已经把它从整晚拿走了几个小时.但是我想进一步减少这一点.任何人都有任何可以帮助我的技巧或提示？我正在使用Java和JDBC来解析和连接.

Answer 1

Mysql允许您从文件加载.也许你应该做的是:读取10000条记录并创建一个文件.load data infile在开始阅读下一条10000条记录时,开始并行运行.

所以这应该让你更接近快速解决方案:

1. 并行化读取和加载
2. 而不是单独的插入,使用批量数据加载工具