如何消除 Linux 上稀疏文件中的漏洞？

Question

如何删除 Linux 上稀疏文件中的所有漏洞？在 Windows 上，我相信该过程是

fsutil sparse setflag <file> 0

Linux 的等价物是什么？

（我知道cp <file> <file>.cp; rm <file>; mv <file>.cp <file>;如果可用磁盘空间允许的话，可以完成这项工作，但我猜 Linux 有一种就地方法来完成这项工作？就像 Windows 一样？）

Answer 1

fallocate -l <length> <file>可能会实现这一目标；虽然它没有告诉文件系统显式地对这些漏洞进行零填充，但它确实为它们分配了空间。与之比较：

\n

[make a sparse file]\n$ echo yay | dd bs=1 seek=1G of=test.file\n\n[list extents]\n$ filefrag -v test.file\n ext:     logical_offset:        physical_offset: length:   expected: flags:\n   0:   262144..  262144:  902523324.. 902523324:      1:     262144: last,eof\n\n[allocate space]\n$ fallocate -l $(stat -c %s test.file) test.file\n\n[list extents again]\n$ filefrag -v test.file\n ext:     logical_offset:        physical_offset: length:   expected: flags:\n   0:        0..  196607: 2219092376..2219288983: 196608:             unwritten\n   1:   196608..  262143: 2219301264..2219366799:  65536: 2219288984: unwritten\n   2:   262144..  262144:  902523324.. 902523324:      1: 2219366800: last,eof\n

\n

使用filefrag -v <file>或xfs_io -r -c "fiemap -v" <file>列出文件的范围。在这个例子中，在fallocate之后就不再有这样的洞了；它们现在被“未写入”范围覆盖，文件系统将继续在读取时立即返回零，但现在确实有分配给它们的特定物理块。

\n

从技术上讲，可以添加一个选项来使用 FIEMAP 来列出空洞和/或“未写入”范围并对它们进行零填充，但不幸的是，它目前没有一个选项，并且需要零填充偏移量/长度手动指定。

\n\n

\n

• 如果文件碰巧在stat -c %s和 之间被截断fallocate，则后一个操作会将其再次增大到之前的大小。

  \n

  如果您希望文件再次增长，您也许可以避免这种使用-n/--keep-size（它只预先分配空间，但不会增长文件），尽管我对分配超过 EOF 的空间的确切 Linux 语义有点不清楚。（我想它类似于 Windows 的“fsutil file setEOF/setValidData”。）

  \n

  另一方面，如果文件在两次操作之间增长，则它不会被截断；新添加的数据（或漏洞）将不会受到错误分配的影响。（也就是说，您不会丢失任何数据；最坏的情况是您只需要再次执行此操作即可消除新添加的漏洞。）

  \n
\n

• 在最近的 GNU Coreutils 版本中要小心cp\xe2\x80\x93，它会自动尝试使用 SEEK_HOLE 来保留稀疏性。您可能需要使用cp --sparse=never来防止这种情况。

  \n
\n

• 此外，从 Coreutils 9.x 开始，如果文件系统支持此操作，例如在 XFS 或 Btrfs 或 ZFS 上，甚至会自动使用 FICLONE 或 copy_file_range() 操作来克隆文件，而不实际复制其数据（类似于“块克隆” cp foo bar）cat foo > bar“ReFS 中的功能）。

  \n

  如果发生这种情况，“副本”将完全保留文件的原始稀疏性，并且您将shared在 filefrag 的输出中看到每个范围的标志。您可以使用cp --reflink=never它来防止这种情况。

  \n

  （有一个用于取消共享范围的fallocate系统调用的标志，但它尚未通过fallocate命令行工具公开，尽管您可以通过xfs_io具有“funshare”子命令来完成此操作。）

  \n
\n

\n