为什么Python`Memory Error`带有列表`append()`剩下大量的RAM

Pet*_*ete 22 python memory list

我正在从一组文本文件构建一个大型数据字典.当我阅读这些内容并处理它们时,我append(dataline)会列出一个列表.

在某些时候会append()产生Memory Error异常.但是,观看程序在Windows任务管理器中运行,在崩溃时我看到4.3 GB可用和1.1 GB可用.

因此,我不明白异常的原因.

Python版本是2.6.6.我想,唯一的原因是它无法使用更多可用的RAM.如果是这样,是否可以增加分配?

NPE*_*NPE 27

如果您使用的是32位版本的Python,则可能需要尝试使用64位版本.

一个进程有可能使用32位地址来处理最多4GB的RAM,但通常(取决于操作系统),可以少得多.听起来你的Python进程可能会达到这个限制.64位寻址消除了此限制.

编辑因为您询问的是Windows,以下页面是相关的:Windows版本的内存限制.如您所见,每个32位进程的限制为2,3或4GB,具体取决于操作系统版本和配置.


nmi*_*els 5

如果您愿意重新构建代码而不是向其投入更多内存,那么您可以使用以下代码:

data = (processraw(raw) for raw in lines)
Run Code Online (Sandbox Code Playgroud)

哪里lines是行列表file.xreadlines()或类似行.