保存外汇巨额财务报表数据的最佳方法

Question

我有很多外汇票据数据要保存.我的问题是什么是最好的方法？

这是一个例子:我只从EURUSD对​​中收集1个月的数据.它最初是CSV文件,大136MB,有2465671行.我使用的是一个由以下网址编写的库:http://www.codeproject.com/Articles/9258/A-Fast-CSV-Reader,它花了大约30秒来读取所有刻度并将其保存在2465671个对象中.首先,它是否足够快？

其次,有没有比CSV更好的方法？例如,二进制文件可能更快,是否有任何关于任何数据库的推荐是最好的？我试过db4o,但它不是很令人印象深刻.我认为这里有一些开销来保存数据作为对象的属性,当我们必须在db4o的Yap文件中保存2465671对象时.

Answer 1

我以前考虑过这个问题,如果我收集这些数据,我会打破这个过程:

1. 从Feed中收集数据,形成一条线(我使用固定宽度),并将其附加到文本文件中.
2. 我会每分钟创建一个新的文本文件,并将其命名为rawdata.yymmddhhmm.txt
3. 然后我会在后台运行另一个进程来读取这些文件,然后通过参数化插入查询将其推送到数据库中.

我可能会在二进制文件上使用文本,因为我知道它会附加没有任何问题,但我也会考虑打开一个二进制文件来追加.这实际上可能会更好一些.

此外,您希望以追加模式打开文件,因为这是写入文件的最快方式.这显然需要超快.