Pet*_*ete 22 python memory list
我正在从一组文本文件构建一个大型数据字典.当我阅读这些内容并处理它们时,我append(dataline)会列出一个列表.
在某些时候会append()产生Memory Error异常.但是,观看程序在Windows任务管理器中运行,在崩溃时我看到4.3 GB可用和1.1 GB可用.
因此,我不明白异常的原因.
Python版本是2.6.6.我想,唯一的原因是它无法使用更多可用的RAM.如果是这样,是否可以增加分配?
NPE*_*NPE 27
如果您使用的是32位版本的Python,则可能需要尝试使用64位版本.
一个进程有可能使用32位地址来处理最多4GB的RAM,但通常(取决于操作系统),可以少得多.听起来你的Python进程可能会达到这个限制.64位寻址消除了此限制.
编辑因为您询问的是Windows,以下页面是相关的:Windows版本的内存限制.如您所见,每个32位进程的限制为2,3或4GB,具体取决于操作系统版本和配置.
如果您愿意重新构建代码而不是向其投入更多内存,那么您可以使用以下代码:
data = (processraw(raw) for raw in lines)
Run Code Online (Sandbox Code Playgroud)
哪里lines是行列表file.xreadlines()或类似行.
| 归档时间: |
|
| 查看次数: |
48478 次 |
| 最近记录: |