如何使用Python处理内存不足

Alg*_*Man 1 python nlp

我有很多我操纵的词典.超过1000万字被散列.它太慢了,有时候内存不足.

有没有更好的方法来处理这些庞大的数据结构?

aar*_*ing 9

是.它被称为数据库.由于字典对你有用(除了内存问题),我认为sqlite数据库可以正常工作.你可以很容易地使用sqlite3,它有很好的文档记录.

当然,如果您可以将值表示为json或者愿意信任来自本地文件的pickled数据,那么这只是一个很好的解决方案.也许您应该发布有关字典值的内容的详细信息.(我假设钥匙是单词,如果不是,请纠正我)

您可能还希望查看不生成整个字典并仅以块的形式处理它.这可能在您的特定用例中不实用(通常不会出现字典用于此类的事情),但如果您能想到某种方式,则重新设计算法以允许它可能是值得的.