GZip 在 macOS 和 Linux 上不会产生相同的压缩结果

Question

我有几千个单独 GZip 压缩的文件（当然通过 -n标志，因此输出是确定性的）。然后他们进入一个 Git 存储库。我刚刚发现，对于其中 3 个文件，Gzip 在 macOS 和 Linux 上不会产生相同的输出。下面是一个例子：

苹果系统

$ cat Engine/Extras/ThirdPartyNotUE/NoRedist/EnsureIT/9.7.0/bin/finalizer | shasum -a 256
0ac378465b576991e1c7323008efcade253ce1ab08145899139f11733187e455  -

$ cat Engine/Extras/ThirdPartyNotUE/NoRedist/EnsureIT/9.7.0/bin/finalizer | gzip --fast -n | shasum -a 256
6e145c6239e64b7e28f61cbab49caacbe0dae846ce33d539bf5c7f2761053712  -

$ cat Engine/Extras/ThirdPartyNotUE/NoRedist/EnsureIT/9.7.0/bin/finalizer | gzip -n | shasum -a 256
3562fd9f1d18d52e500619b4a5d5dfa709f5da8601b9dd64088fb5da8de7b281  -

$ gzip --version
Apple gzip 272.250.1

Linux

$ cat Engine/Extras/ThirdPartyNotUE/NoRedist/EnsureIT/9.7.0/bin/finalizer | shasum -a 256
0ac378465b576991e1c7323008efcade253ce1ab08145899139f11733187e455  -

$ cat Engine/Extras/ThirdPartyNotUE/NoRedist/EnsureIT/9.7.0/bin/finalizer | gzip --fast -n | shasum -a 256
10ac8b80af8d734ad3688aa6c7d9b582ab62cf7eda6bc1a0f08d6159cad96ddc  -

$ cat Engine/Extras/ThirdPartyNotUE/NoRedist/EnsureIT/9.7.0/bin/finalizer | gzip -n | shasum -a 256
cbf249e3a35f62a4f3b13e2c91fe0161af5d96a58727d17cf7a62e0ac3806393  -

$ gzip --version
gzip 1.6
Copyright (C) 2007, 2010, 2011 Free Software Foundation, Inc.
Copyright (C) 1993 Jean-loup Gailly.
This is free software.  You may redistribute copies of it under the terms of
the GNU General Public License <http://www.gnu.org/licenses/gpl.html>.
There is NO WARRANTY, to the extent permitted by law.

Written by Jean-loup Gailly.

这怎么可能？我认为 GZip 实现是完全标准的？

更新：为了确认 macOS 和 Linux 版本在大多数情况下确实产生相同的输出，两个操作系统输出相同的哈希：

$ echo "Vive la France" | gzip --fast -n | shasum -a 256
af842c0cb2dbf94ae19f31c55e05fa0e403b249c8faead413ac2fa5e9b854768  -

Answer 1

请注意，GZip 中的压缩算法 (Deflate) 并非严格双射。详细说明：对于某些数据，根据算法实现和使用的参数，有不止一种可能的压缩输出。因此，根本无法保证 Apple GZip 和 gzip 1.6 会返回相同的压缩输出。这些输出都是有效的 GZip 流，标准只是保证这些可能的输出中的每一个都将被解压缩为相同的原始数据。

Answer 2

格式应该非常稳定，但请参阅其说明。它包含操作系统 ID 字段。显然，对于 MacOS 和 Linux 以及 FreeBSD 和...

Answer 3

Gzip 格式是标准的，实现 - 不一定。维基百科列出了至少 5 个独立于 free/oss 的实现，也有专有的。Apple 显然输出了不同的版本字符串。

格式和算法都允许有很大的自由度和很多设计选择，这些选择要么是品味问题，要么是在不同的用例中工作得更好。

查看Zip 文件：历史、解释和实现

我通常希望结果在不同实现之间只有一小部分小文件是相同的。