小编anu*_*anu的帖子

快速压缩大量大文件

我每天生成大约 200 GB 的日志数据,分布在大约 150 个不同的日志文件中。

我有一个脚本将文件移动到一个临时位置,并在临时目录上执行 tar-bz2。

我得到了很好的结果,因为 200 GB 的日志被压缩到大约 12-15 GB。

问题是压缩文件需要很长时间。该cron的工作上午2:30每天运行,并继续运行,直到5:00-6:00 PM。

有没有办法提高压缩速度,更快地完成工作?有任何想法吗?

不要担心其他进程和所有,压缩发生的位置在NAS 上,我可以在专用VM上运行挂载 NAS并从那里运行压缩脚本。

以下是top的输出供参考:

top - 15:53:50 up 1093 days,  6:36,  1 user,  load average: 1.00, 1.05, 1.07
Tasks: 101 total,   3 running,  98 sleeping,   0 stopped,   0 zombie
Cpu(s): 25.1%us,  0.7%sy,  0.0%ni, 74.1%id,  0.0%wa,  0.0%hi,  0.1%si,  0.1%st
Mem:   8388608k total,  8334844k used,    53764k free,     9800k buffers
Swap: 12550136k total,      488k used, 12549648k free,  4936168k …
Run Code Online (Sandbox Code Playgroud)

tar shell-script bzip2 optimization

16
推荐指数
3
解决办法
2万
查看次数

标签 统计

bzip2 ×1

optimization ×1

shell-script ×1

tar ×1