小编cac*_*tus的帖子

内存映射文件如何处理大于内存的文件?

我正在尝试处理比我的内存大的数据文件。

到目前为止,我的理解是它将文件中的每个字节映射到虚拟内存中的一个地址。数据仅在您实际需要时(例如访问特定条目)才读取到实际内存中,并且以称为页的块的形式读取。

但是,如果我最终要处理该数据文件中的所有内容,这是否意味着最终所有内容都需要读入真实内存中?操作系统是否会自动决定释放内存中已有数据的哪些部分,以便为额外数据腾出空间?

对于这个特定的项目,我正在 Linux 上使用 Python,如果这有什么不同的话。numpy.memmap

python memory-management numpy memory-mapped-files

7
推荐指数
1
解决办法
2316
查看次数