通过 EF Core 将 1.3GB CSV 文件导入 sqlite

Question

CSV 文件

我有一个大小约为 1.3 GB 的 CSV 文件：

Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a----         10/4/2021   1:23 PM     1397998768 XBTUSD.csv

这是 Kraken 交易所上比特币交易数据的完整列表。

CSV 中的数据如下所示：

> Get-Content .\XBTUSD.csv | Select-Object -First 10
1381095255,122.00000,0.10000000
1381179030,123.61000,0.10000000
1381201115,123.91000,1.00000000
1381201115,123.90000,0.99160000
1381210004,124.19000,1.00000000
1381210004,124.18000,1.00000000
1381311039,124.01687,1.00000000
1381311093,124.01687,1.00000000
1381311094,123.84000,0.82300000
1381431835,125.85000,1.00000000

有关该文件的更多信息可在此处找到：

https://support.kraken.com/hc/en-us/articles/360047543791-Downloadable-historical-market-data-time-and-sales

该文件可以从这里下载：

https://drive.google.com/drive/folders/1jI3mZvrPbInNAEaIOoMbWvFfgRDZ44TT

请参阅文件XBT.zip。该档案里面是XBTUSD.csv.

基线测试-直接导入到sqlite中

如果我在 sqlite 中创建下表：

Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a----         10/4/2021   1:23 PM     1397998768 XBTUSD.csv

并运行以下命令导入 CSV（以及所需时间）：

$a = Get-Date

sqlite3.exe .\kraken-trades.db -cmd '.mode csv' '.import C:/Users/dharm/XBTUSD.csv CsvTrades'

$b = Get-Date

($b - $a).TotalMinutes

我得到以下信息：

1.56595191666667

1.5分钟。不错！

使用 EF Core

在下面的代码中，我正在使用该CsvHelper包：

https://joshclose.github.io/CsvHelper/getting-started/

这是 CSV 文件行的类：

> Get-Content .\XBTUSD.csv | Select-Object -First 10
1381095255,122.00000,0.10000000
1381179030,123.61000,0.10000000
1381201115,123.91000,1.00000000
1381201115,123.90000,0.99160000
1381210004,124.19000,1.00000000
1381210004,124.18000,1.00000000
1381311039,124.01687,1.00000000
1381311093,124.01687,1.00000000
1381311094,123.84000,0.82300000
1381431835,125.85000,1.00000000

这是实体的类Trade：

CREATE TABLE CsvTrades (
    "TimeStamp" TEXT NOT NULL,
    "Price"     TEXT NOT NULL,
    "Volume"    TEXT NOT NULL
);

这DbContext很简单：

$a = Get-Date

sqlite3.exe .\kraken-trades.db -cmd '.mode csv' '.import C:/Users/dharm/XBTUSD.csv CsvTrades'

$b = Get-Date

($b - $a).TotalMinutes

最后是执行导入的函数：

1.56595191666667

问题

当我让它运行时，它确实继续将项目添加到数据库中。然而，它的速度相当慢；我没有计算完成时间，但我可以看到它需要一个多小时。

有没有好的方法可以在仍然使用 EF Core 的情况下加快速度？

笔记

上面引用的代码可以在单个文件中找到：

https://github.com/dharmatech/kraken-trades-database/blob/003-minimal/KrakenTradesDatabase/Program.cs

这是一个 .NET 6 项目。如果您在构建和运行它时遇到任何问题，请告诉我。

定时

我添加了一些代码来计时批次添加的时间。看起来每 100,000 条记录大约需要 7 秒。

Starting batch at 2013-10-06. Batch took 00:00:08.7689932.
Starting batch at 2015-12-08. Batch took 00:00:06.7453421.
Starting batch at 2016-04-19. Batch took 00:00:06.7833506.
Starting batch at 2016-06-25. Batch took 00:00:06.7083806.
Starting batch at 2016-08-22. Batch took 00:00:06.7826717.
Starting batch at 2016-11-20. Batch took 00:00:06.4212123.

wc说有 41,695,261 行：

$ wc -l XBTUSD.csv
41695261 XBTUSD.csv

按照这个速度，大约需要 48 分钟。

为什么选择 EF Core？

有人问，为什么要使用 EF Core 呢？为什么不直接导入呢？

上面的示例被有意简化，以关注导入速度。

我有更详细的版本，其中与其他实体有关系。在这种情况下：

• 使用 EF Core 设置其他表和外键属性更加简单。

• 我可以更轻松地在数据库后端（SQL Server、PostgreSQL、sqlite）之间切换。

例如，请参阅此分支，其中导入了多个符号。Tradethe和there之间存在关系Symbol。还可能存在其他关系。

https://github.com/dharmatech/kraken-trades-database/blob/006/KrakenTradesDatabase/Program.cs

Answer 1

EFCore.BulkExtensions

使用以下内容：

https://github.com/borisdj/EFCore.BulkExtensions

然后更改这一行：

db.AddRange(items);

到：

db.BulkInsert(items);

使导入时间从 48 分钟缩短到 5.7 分钟。

该项目的此版本可在此处获取：

https://github.com/dharmatech/kraken-trades-database/blob/004-bulk-extensions/KrakenTradesDatabase/Program.cs

谢谢

感谢 Caius Jard在上面的评论中建议了EFCore.BulkExtensions 。