719*_*016 2 gunzip parallel-processing concatenation
是否可以对多个文件进行 gunzip 并将它们连接成一个大文件,但在多核机器上并行执行?例如,现在我这样做:
gunzip -c file1.gz > final
gunzip -c file2.gz >> final
gunzip -c file3.gz >> final
gunzip -c file4.gz >> final
Run Code Online (Sandbox Code Playgroud)
我可以做同样的事情,以便不同文件的 gunzip 处理在多核机器的不同 CPU 中完成,并将它们全部连接到同一个最终文件中吗?
使用 GNU Parallel 这样做要短一些:
parallel gunzip -c ::: file*.gz > final
Run Code Online (Sandbox Code Playgroud)
但本质上它也写入临时文件。
观看介绍视频以了解更多信息:https : //www.youtube.com/playlist? list = PL284C9FF2488BC6D1