超高效压缩

Ada*_*tan 6 compression log-files

我存储了大量(TBytes)的日志。这些日志很少会被提取,当它们会提取时 - 只需要一个文件。

您能否推荐一种比 bzip2 好得多的超高效且极其稳定的压缩算法?

Chr*_*s S 15

lzma(又名 xz)应该比 bzip2 做得更好,但需要更长的时间。
paq(又名 zp)会做得更好,但需要很长时间才能压缩,解压缩也需要很长时间。

两者都可用于 Windows 和 *nix 环境(大多数 *nix 系统都有可用的软件包)

对 smartd 日志的快速测试:

Original       3900K
GZip            208K    0.11s
BZip2            71K    3.07s
XZ               13K    1.76s*
ZP                6K   25.68s*
Run Code Online (Sandbox Code Playgroud)

*我已经为xz和编译了 -O3 端口zp。在gzipbzip2二进制文件没有优化预编译。

  • 在linux中,`tar`也支持lzma http://www.gnu.org/software/tar/manual/html_section/Compression.html (3认同)
  • 另见 http://www.maximumcompression.com/data/log.php (2认同)