与 macOS tar 相比，为什么使用 Python 的 tar 库时 tar.xz 文件要小 15 倍？

Question

语境

我正在压缩大约 1.3 GB 的文件夹，每个文件夹都包含 1440 个 JSON 文件，发现在 macOS 或Raspbian 10 (Buster)上使用tar命令和 Python 的内置tarfile库之间存在 15 倍的差异

最小工作示例

此脚本比较了两种方法：

#!/usr/bin/env python3

from pathlib import Path
from subprocess import call
import tarfile

fullpath = Path("/Users/user/Desktop/temp/tar/2021-03-11")
zsh_out = Path(fullpath.parent, "zsh-archive.tar.xz")
py_out = Path(fullpath.parent, "py-archive.tar.xz")

# tar using terminal
# tar cJf zsh-archive.tar.xz folderpath
call(["tar", "cJf", zsh_out, fullpath])

# tar using tarfile library
with tarfile.open(py_out, "w:xz") as tar:
    tar.add(fullpath, arcname=fullpath.stem)

# Print filesizes
print(f"zsh tar filesize: {round(Path(zsh_out).stat().st_size/(1024*1024), 2)} MB")
print(f"py tar filesize: {round(Path(py_out).stat().st_size/(1024*1024), 2)} MB")

输出是：

zsh tar filesize: 23.7 MB
py tar filesize: 1.49 MB

我使用的版本如下：

• tar 在 macOS 上： bsdtar 3.3.2 - libarchive 3.3.2 zlib/1.2.11 liblzma/5.0.5 bz2lib/1.0.6
• tar 在 Raspbian 10 上： xz (XZ Utils) 5.2.4 liblzma 5.2.4
• tarfile 蟒库： 0.9.0

我尝试过的事情

压缩后，我提取了两个档案并将生成的文件夹与：

zsh tar filesize: 23.7 MB
py tar filesize: 1.49 MB

没有区别。

如果我直接比较两个 tar 档案，它们似乎不同：

diff -r py-archive-expanded zsh-archive-expanded

如果我使用 Quicklook（和 Betterzip 插件）检查档案，我会看到档案中的文件以不同的方式排序：

左边是zsh-archive.tar.xz，右边是py-archive.tar.xz：

zsh 存档使用未知顺序，Python 存档按修改日期对文件进行排序。我不确定这是否重要。

题

到底是怎么回事？使用 Python 库压缩我的数据是否会丢失一些东西？15 倍的大小差异是否表明存在某些问题？或者我可以安全地继续使用高效的 Python 实现吗？

Answer 1

简短回答：是的，使用 Pythontarlib压缩数据是安全的，与 BSD 相比没有任何损失tar。

潜在问题：排序

我认为潜在的问题是没有任何排序选项的BSDtar和 GNUtar以未定义的顺序将文件放在存档中。

GNUtar有一个--sort选项：

根据、、 或ORDER之一对目录条目进行排序。 默认为，它按照操作系统返回的相同顺序存储归档成员。nonenameinode
--sort=none

测试 GNU tar

为了测试这个，我tar在我的 Mac 上安装了 GNU ：

brew install gnu-tar

然后对同一个文件夹进行tarred，但有以下--sort选项：

gtar --sort='name' -cJf zsh-archive-sorted.tar.xz /Users/user/Desktop/temp/tar/2021-03-11

该zsh-archive-sorted.tar.xz归档文件是1.5 MB，等于由Python库创建存档的大小。

按排序顺序连接

排序对最终存档大小的影响通过首先连接按名称排序的所有 JSON 文件（其开头具有创建 unixtime ），然后使用 BSD 进行 tarring 进一步证明tar：

cat *.json > all.txt
tar cJf zsh-cat-archive.tar.xz all.txt

该zsh-cat-archive.tar.xz档案还1.5 MB。

Pythontarfile排序

最后，PythonTarFile.add函数的文档确认 Pythontarfile默认排序：

默认情况下以递归方式添加目录。这可以通过将 recursive 设置为 False 来避免。递归按排序顺序添加条目。

为什么排序很重要

我认为排序对我的情况有如此影响的原因如下：

我的 JSON 文件包含数百辆车的位置。每分钟我都会读出所有位置，但只有少数这些位置每分钟都有不同的值。
通过按名称对文件进行排序，两个后续文件之间几乎没有不同的字符。显然这对压缩效率非常有利。

Answer 2

尝试在 macOS 命令行中设置压缩级别。

我知道您在询问，xz但在此答案中对此进行了解释，在旧版本的 GZip 上，您可以使用如下环境变量设置压缩级别：

GZIP=-9 tar cf zsh-archive.tar.xz folderpath

也就是说，它似乎只适用于 GZip 1.8，并且在更高版本中会贬值。所以对 tar使用-I/--use-compress-program=COMMAND选项；请注意，此选项可能不适用于 macOS，但还是放在此处以防万一。所以命令将更改为：

tar -I 'gzip -9' -cf zsh-archive.tar.xz folderpath

是的，这些示例将压缩存档 Gzip 而不是xz，但您可以轻松地将命令更改为此使用xz：

tar -I 'xz -9' -cf zsh-archive.tar.xz folderpath

的xz压缩级别范围从-0到-9与默认之中-6; -9最高压缩级别也是如此。

请注意，xz默认情况下未安装在 macOS 上。要在 macOS 上安装它，您必须先安装Homebrew，然后xz通过 Homebrew安装，如下所示：

brew install xz