gz 压缩率会随着时间的推移而提高吗？

Question

我有一些过程可以创建数百万条高度相似的行。我正在通过管道将其发送到gz. 在这样的设置中，压缩率会随着时间的推移而提高吗？即 100 万条类似线路的压缩比是否比 10,000 条更好？

Answer 1

它可以达到一定程度，并且会趋于平衡。压缩算法对它们查看的块的大小 ( bzip2) 和/或它们保存的包含先前模式信息的表 ( gzip) 有限制。

在 gzip 的情况下，一旦表已满，旧条目就会被推出，并且压缩不会进一步改善。根据您的压缩质量因子 ( -0to -9) 和输入的重复性，这种填充当然可能需要一段时间，您可能不会注意到。