Python非常大的集合.如何避免内存不足异常？

Question

我使用Python集合来存储唯一对象.每个对象都有__hash__并被__eq__覆盖.

该集包含近20万个对象.该集本身占用了近4 GB的内存.它在超过5 GB的机器上运行良好,但现在我需要在只有3 GB RAM的机器上运行该脚本.

我重写了一个脚本到C# - 实际上从同一个源读取相同的数据,把它放到一个CLR模拟的集合(HashSet)而不是4 GB,它花了近350 MB,而脚本执行的速度相对相同(接近40秒)但我必须使用Python.

问题1:Python是否有任何"磁盘持久性"设置或任何其他解决方法？我猜它只能在内存中存储hash/eq方法中使用的"key"数据,其他所有内容都可以保存到磁盘上.或者也许在Python中有其他变通方法可以拥有一个独特的对象集合,这些对象可能占用比系统中可用内存更多的内存.

Q2:不太实际的问题:为什么python set会为一个集合占用更多的内存？

我在64位Ubuntu 12.10上使用标准Python 2.7.3

谢谢.

Update1:什么脚本做:

阅读大量半结构化的JSON文档(每个JSON由序列化对象组成,其中包含与之相关的聚合对象的集合)
解析每个JSON文档以从中检索主对象和聚合集合中的对象.每个解析的对象都存储在一个集合中.Set仅用于存储唯一对象.首先我使用了数据库,但数据库中的唯一约束使x100-x1000的速度变慢.每个JSON文档都被解析为1-8种不同的对象类型.每个对象类型都存储在它自己的集合中,以便仅在内存中保存唯一对象.
存储在集合中的所有数据都以唯一约束保存到关系数据库中.每个集都存储在单独的数据库表中.

脚本的整个想法是获取非结构化数据,从JSON文档中的聚合对象集合中删除重复项,并将结构化数据存储到关系数据库中.

更新2:

2 delnan:我评论了所有代码行,添加了不同的集合,使所有其他人员(获取数据,解析,迭代)保持不变 - 该脚本占用的内存减少了4 GB.

这意味着当这些200K对象被添加到集合中时 - 它们开始占用大量内存.该对象是来自TMDB的简单电影数据 - ID,类型列表,演员列表,导演,许多其他电影细节以及可能来自维基百科的大型电影描述.

Answer 1

最好的方法可能是使存储在集合中的对象更小.如果它们包含不必要的字段,请将其删除

要减少一般对象开销,您还可以使用__slots__声明已使用的字段:

class Person(object):
   __slots__ = ['name', 'age']
   def __init__(self):
      self.name = 'jack'
      self.age = 99

Answer 2

集合确实使用了大量内存,但列表却没有.

>>> from sys import getsizeof
>>> a = range(100)
>>> b = set(a)
>>> getsizeof(a)
872
>>> getsizeof(b)
8424
>>>

如果您使用集合的唯一原因是为了防止重复,我建议您使用列表.您可以通过在添加对象之前测试对象是否已在列表中来防止重复.它可能比使用集合的内置机制慢,但它肯定会使用更少的内存.