ddo*_*org 5 python memory dictionary data-structures
我们使用dict包含大约4GB数据的数据进行处理.它方便快捷.
我们遇到的问题是这dict可能超过32GB.
我正在寻找一种方法来使用dict(就像变量与get() - 方法等),它可能比可用内存大.如果dict以某种方式将数据存储在磁盘上并在get(key)调用时从磁盘检索数据并且该值key不在内存中,那将是很好的.
我最好不想使用外部服务,比如SQL数据库.
我确实找到了Shelve,但它似乎也需要记忆.
关于如何解决这个问题的任何想法？
我找不到任何（快速）模块来执行此操作，因此决定创建自己的（我的第一个 python 项目 - 感谢@blubber 提供一些想法：P）。您可以在 GitHub 上找到它： https: //github.com/ddofborg/diskdict欢迎评论！