如何实现或模拟MADV_ZERO？

Question

我希望能够在不调用任何io的情况下将一系列文件内存映射归零(为了有效地顺序覆盖大文件而不会产生任何磁盘读取io).

这样做std::memset(ptr, 0, length)会导致页面从磁盘,如果他们已经不在,即使整个页面被覆盖从而完全捣毁磁盘性能存储器中读取.

我希望能够做一些类似于madvise(ptr, length, MADV_ZERO)将范围归零(类似于FALLOC_FL_ZERO_RANGE)的事情,以便在访问指定范围时导致零填充页面错误而不是常规的io页面错误.

遗憾的MADV_ZERO是不存在.即使相应的标志FALLOC_FL_ZERO_RANGE确实存在fallocate并且可以与其一起使用fwrite以实现类似的效果,尽管没有即时的交叉过程一致性.

我猜的一个可能的替代方案是使用MADV_REMOVE.但是,根据我的理解,这可能导致文件碎片并在完成时阻止其他操作,这使我不确定其长期性能影响.我对Windows的经验是,类似的FSCTL_SET_ZERO_DATA命令在调用时会引起显着的性能峰值.

我的问题是如何实现或模拟MADV_ZERO共享映射,最好是在用户模式下？

1. /dev/zero/

我已阅读它被提出来简单地读取/dev/zero到所选择的范围.虽然我不太确定"阅读范围"意味着什么,以及如何做到这一点.难道喜欢一个fread从/dev/zero入内存范围？不确定如何避免访问时出现常规页面错误？

对于Linux,只需读/dev/zero入所选范围即可.内核已经针对匿名映射优化了这种情况.

如果一般来说这样做太难实现,我
建议MADV_ZERO应该有这样的效果:就像读取
/dev/zero到范围内一样,但总是有效的.

编辑:进一步跟踪线程,事实证明它实际上不起作用.

在处理共享映射时,它不会做任何技巧.

2. MADV_REMOVE

在Linux中实现它的一个猜测(即不在我喜欢的用户应用程序中)可以通过简单的复制和修改MADV_REMOVE,即代替madvise_remove使用.虽然我在猜测这一点时有点头脑,特别是因为我不太清楚它周围的代码是做什么的:FALLOC_FL_ZERO_RANGEFALLOC_FL_PUNCH_HOLEvfs_allocate

// madvice.c
static long madvise_remove(...)
  ...
  /*
   * Filesystem's fallocate may need to take i_mutex.  We need to
   * explicitly grab a reference because the vma (and hence the
   * vma's reference to the file) can go away as soon as we drop
   * mmap_sem.
   */
  get_file(f); // Increment ref count.
  up_read(&current->mm->mmap_sem); // Release a read lock? Why?
  error = vfs_fallocate(f,
            FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE, // FALLOC_FL_ZERO_RANGE?
            offset, end - start);
  fput(f); // Decrement ref count.
  down_read(&current->mm->mmap_sem); // Acquire read lock. Why?
  return error;
}

Answer 1

您可能无法做您想做的事（在用户空间中，而不破解内核）。请注意，由于页缓存的原因，写入零页可能不会引起物理磁盘 IO的原因，写入零页可能不会引起物理磁盘 IO 。

\n\n

您可能希望用稀疏文件中的文件孔替换文件段（但这并不完全是您想要的），但某些文件系统（例如 VFAT）没有孔\xc2\xa0 或稀疏文件。请参阅lseek(2)和SEEK_HOLE, (2)

\n