我有一个包含1.2亿条记录的列表,每条记录大约40/50字节,大约是5.5/6千兆字节的原始内存空间,不包括将阵列保存在内存中所需的任何额外存储空间.
我想确保此列表是唯一的.我尝试这样做的方法是创建一个Hashset <string>并逐个添加所有条目.
当我得到大约3300万条记录时,我内存不足,列表创建速度慢下来.
有没有更好的方法及时对这个庞大的条目列表进行排序？我能想到的唯一解决方案是使用Amazon EC2高内存四倍超大型实例一小时.
谢谢
.net c# hashset
.net ×1
c# ×1
hashset ×1