运行总共N个作业,其中M个随时并行运行

Question

我有很多工作要运行,比如100.它们可以并行运行,但每个都占用了大量内存,所以我只能同时运行8个.

我目前有这个shell脚本:

(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u

(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u

...

这具有运行第一批八个的效果,当它们全部完成时,它开始下一批8个.问题是每个作业的运行时间不是恒定的,有些在其他作业之前完成,所以它是对于每批8个完成重量不是最佳的,因为我实际上正在等待8个中最慢的完成.

相反,我希望有一个脚本(shell或python)将运行我的所有100个作业,在任何给定时间并行处理其中8个作业,以获得最佳效率.

有任何关于实现这一点的想法吗？

Answer 1

您可以编写自己的小调度程序,将它们分配给已完成当前任务的处理器; 但在我们的中心,我们强烈建议使用gnu parallel,它已经使用类似xargs的语法实现了.

例如,如上所述,你可以做到

parallel --max-procs 8 <<EOF
  python run.py $arg1 
  python run.py $arg2 
  python run.py $arg3
  ..
EOF

或者,如果你在文件中有你的参数列表,你可以做类似的事情

cat args.list | parallel --max-procs 8 python run.py