Erw*_*yer 6 .net c# collections memory-management memory-mapped-files
我需要按照IList实现的巨大时间序列按时间顺序执行操作.数据最终存储在数据库中,但向数据库提交数以千万计的查询是没有意义的.
目前,内存中的IList在尝试存储超过800万(小)对象时会触发OutOfMemory异常,但我需要处理数千万.
经过一些研究,看起来最好的方法是将数据存储在磁盘上并通过IList包装器访问它.
内存映射文件(在.NET 4.0中引入)似乎是正确的接口,但我想知道编写应该实现IList(以便于访问)和内部处理内存映射文件的类的最佳方法是什么.
如果您了解其他方式,我也很想知道!我想过使用来自db4o的数据的IList包装器的例子(这里有人提到使用内存映射文件作为IoAdapterFile,尽管使用db4o可能会增加性能成本而不是直接处理内存映射文件).
我在2009年遇到过这个问题,但它没有产生有用的答案或认真的想法.
我找到了这个PersistentDictionary <>,但它只适用于字符串,通过阅读源代码我不确定它是为非常大的数据集而设计的.
ESENT PersistentDictionary <>具有更高的可扩展性(最高16 TB),它使用Windows(XP +)中的ESENT数据库引擎,可以存储包含简单类型的所有可序列化对象.
基于磁盘的数据结构,包括带有"智能"序列化程序的字典,列表和数组,看起来与我正在寻找的完全一样,但是对于非常大的数据集,它并不能顺利运行,特别是因为它没有使用"本机". NET MemoryMappedFiles,并支持32位系统是实验性的.
更新1:我最终实现了自己的版本,广泛使用.NET MemoryMappedFiles; 它非常快,我可能会在Codeplex上发布它,一旦我为更多通用用法做得更好.
更新2:TeaFiles.Net也很适合我的目的.强烈推荐(和免费).
| 归档时间： |
|
| 查看次数： |
4705 次 |
| 最近记录： |