越来越多的tar
存档使用xz
基于 LZMA2的格式进行压缩,而不是传统的bzip2(bz2)
压缩。事实上,kernel.org于2013 年 12 月 27日晚发布了“再见 bzip2 ”公告,表明内核源代码将从此时起以 tar.gz 和 tar.xz 格式发布 - 并在网站主页上发布直接提供的是在tar.xz
.
是否有任何具体原因可以解释为什么会发生这种情况以及gzip
在这种情况下的相关性是什么?
我每天生成大约 200 GB 的日志数据,分布在大约 150 个不同的日志文件中。
我有一个脚本将文件移动到一个临时位置,并在临时目录上执行 tar-bz2。
我得到了很好的结果,因为 200 GB 的日志被压缩到大约 12-15 GB。
问题是压缩文件需要很长时间。该cron的工作上午2:30每天运行,并继续运行,直到5:00-6:00 PM。
有没有办法提高压缩速度,更快地完成工作?有任何想法吗?
不要担心其他进程和所有,压缩发生的位置在NAS 上,我可以在专用VM上运行挂载 NAS并从那里运行压缩脚本。
以下是top的输出供参考:
top - 15:53:50 up 1093 days, 6:36, 1 user, load average: 1.00, 1.05, 1.07
Tasks: 101 total, 3 running, 98 sleeping, 0 stopped, 0 zombie
Cpu(s): 25.1%us, 0.7%sy, 0.0%ni, 74.1%id, 0.0%wa, 0.0%hi, 0.1%si, 0.1%st
Mem: 8388608k total, 8334844k used, 53764k free, 9800k buffers
Swap: 12550136k total, 488k used, 12549648k free, 4936168k …
Run Code Online (Sandbox Code Playgroud)