档案文件系统或格式

Question

我正在寻找一种文件类型来存储已被淘汰的系统档案.目前,我们主要使用tar.gz,但是从200GB tar.gz存档中查找和提取几个文件是不实用的,因为tar.gz不支持任何类型的随机访问读取条款.(在你了解之前,使用FUSE安装tgz并不能让它变得更好.)

这是我们到目前为止所发现的 - 我想知道还有其他选择:

• tar.gz - 糟糕的随机访问读取
• zip - 缺乏对某些高级文件系统功能的支持(例如:硬链接,xattrs)
• squashfs - 创建一个大型存档(很多小时)和糟糕的用户空间工具需要很长时间.

我正在尝试一种简单的方法来创建一个功能齐全的文件系统映像到尽可能小的空间 - 一个cloop图像中的ext2,但它似乎不是一个特别用户友好的解决方案.

大概这个问题以前已经解决了 - 有没有我错过的选择？

Answer 1

Mksquashfs是一个高度并行化的程序,它利用所有可用的内核来最大限度地提高性能.如果你看到非常大的构建时间,那么你要么有很多重复的文件,要么机器运行不足和抖动.

要调查性能,首先可以

在Mkssquashfs i上使用-no-duplicates选项,e.

mksquashfs xxx xxx.sqsh -no-duplicates

重复检查是一个缓慢的操作,它必须按顺序完成,并且在具有大量重复项的文件集上,这将成为另外并行化程序的瓶颈.

在Mksquashfs运行时检查内存使用/可用内存,如果系统处于废弃状态,则会发生非常低的性能.调查-read-queue,-write-queue和-fragment-queue选项以控制Mksquashfs在运行时缓存的数据量.

Tar和zip不是并行化的,只使用一个核心,因此很难相信您对Mksquashfs压缩性能的抱怨.

此外,我从未见过任何其他报告称用户空间程序"差",Mksquashfs和Unsquashfs有一组高级选项,可以非常精细地控制压缩过程,并允许用户选择压缩哪些文件 - 以及这些选项远远超过tar这样的程序.

除非你能给出工具为什么不好的具体例子,否则我会把这归结为工人指责工具的惯常情况,而真正的问题在于其他地方.

正如我之前所说,你的系统可能正在颠簸,因此表现不佳.默认情况下,Mksquashfs使用所有可用内核,以及至少600 MB的RAM(在大型文件系统上升至2 GB或更多).这是为了提高性能,因为内存中的缓存数据可以减少磁盘I/O. 这种"开箱即用"行为对于具有大量内存和其他闲置系统的典型用户来说是好的.这是大多数用户想要的,Mksquashfs"最大化"系统以实现尽可能快的文件系统创建.

对于RAM较低的系统或具有活动进程的系统消耗大量可用CPU和/或内存不利.当每个进程争用可用的CPU和RAM时,您将获得资源争用.这不是Mksquashfs的错,而是用户的错.

Mksquashfs -processor选项用于限制Mksquashfs使用的处理器数量,-read-queue,-write-queue和-fragment-queue选项用于控制Mksquashfs使用多少RAM.

Answer 2

virt-sparsify可用于稀疏化和（通过 qemu 的 qcow2 gzip 支持）压缩几乎任何 Linux 文件系统或磁盘映像。生成的映像可以安装在虚拟机中，也可以通过guestmount安装在主机上。

有一个新的 ndbkit xz 插件，可用于更高的压缩，它仍然保持良好的随机访问性能（只要您要求 xz/ pixz重置块边界上的压缩）。