4ae*_*1e1 5 parallel-processing gnu-parallel
正如标题中所说,我想知道该-k选项(强烈)是否会影响 GNU 并行的速度。
在man parallel_tutorial存在关于讨论--ungroup和--line-buffer,其声称--linebuffer,其unmixes输出线,比要慢得多--ungroup。那么-k当工作数量很大时,也许也会导致大幅放缓?
(我没有在man parallel或 中找到这个主题man parallel_tutorial;我也没有在谷歌上找到任何东西。不过我还没有完成man parallel,所以如果我错过了一些搜索较少的东西,请原谅。)
-k不会减慢任何速度,但每个作业需要 4 个文件句柄。如果 GNU Parallel 用完文件句柄,它将一直等到正在运行的作业之一完成。
-g与-u每个作业减慢约 1-2 毫秒(加上从磁盘写入和读回输出所需的时间)相比,因此减慢只有在您运行非常短的作业或具有大量输出的作业时才会明显。
--line-buffer可以比 更快,也可以比 慢-g。它不会在磁盘上缓冲,但需要更多的 CPU 时间来运行 - 特别是如果您的作业输出数据很慢。
我的建议是使用对您来说最容易使用的方法,并且只有在证明速度太慢时,才考虑其他选项。