是否可以使用 gzip 压缩非常大的文件（~30 GB）？

Question

是否可以使用 gzip 压缩非常大的文件（~30 GB）？如果是这样，我应该使用哪些命令、开关和选项？

或者是否有另一个程序（最好是在 Ubuntu 发行版上普遍可用的程序）可以用来压缩/压缩非常大的文件？你有这方面的经验吗？

Answer 1

AFAIK 没有大小限制gzip- 至少不是 30GB。当然，您需要在光盘上为压缩文件提供空间，两个版本在压缩时都会同时存在。

bzip2 压缩文件（不仅是大文件:-）更好，但它（有时会很多）更慢。

Answer 2

如果你需要一个好的压缩率，你可以试试lzma。它比 bzip2 更快、更高效，甚至可能比 gzip 更快（我不确定）

`lzma` 现在已被弃用，取而代之的是 `xz`。相同的算法，包裹在它周围的文件格式有些不同（改进？）。LZMA 比 gzip 慢，但在最大速度下，它对 JSON 数据等高度冗余的内容仍然是相当好的压缩。(`xz -0`) (5认同)

Answer 3

如果您遇到了限制，请重新安排。代替：

gzip file

做：

gzip < file > file.gz

效果很好。