字典的存储容量，想在python中将大量数据存储到字典中

Question

我想在 python 中将大量数据存储到字典中。巨大的数据可能在21 GB左右。我写了一个片段来做到这一点。将整数值存储在字典中。

代码：

import timeit
import sys
dicts = {}
print "\n***Building dict..."
start = timeit.default_timer()
for j in range(0,5):
    for i in range(0,1000000):
        dicts[''+str(j)+str(i)] = i
        print str(i) + '-' + str(j)
        print "Size : ", sys.getsizeof(dicts)/1024/1024, " MB"
print "Total time of build dict", timeit.default_timer() - start 

在运行时，当我使用 **getsizeof(dicts)**大约1.2GB达到大小时，它无法将值存储在字典中但不显示任何错误。Dictionary是否有一些容量来存储数据？

那么，问题是如何将大量数据存储到字典中？

注意：不需要将数据存储在文件或数据库中。因为我想非常快地检索键值对。

Answer 1

Python dict 大小的限制取决于操作系统提供的可用内存。问题在于，随着字典的增长（调整大小），它必须复制自身以重新分配键，因此当字典变得非常庞大时，此过程可能开始需要比实际可用的内存多得多的内存。