我正在尝试处理比我的内存大的数据文件。
到目前为止,我的理解是它将文件中的每个字节映射到虚拟内存中的一个地址。数据仅在您实际需要时(例如访问特定条目)才读取到实际内存中,并且以称为页的块的形式读取。
但是,如果我最终要处理该数据文件中的所有内容,这是否意味着最终所有内容都需要读入真实内存中?操作系统是否会自动决定释放内存中已有数据的哪些部分,以便为额外数据腾出空间?
对于这个特定的项目,我正在 Linux 上使用 Python,如果这有什么不同的话。numpy.memmap
python memory-management numpy memory-mapped-files
memory-management ×1
memory-mapped-files ×1
numpy ×1
python ×1