perl进程队列

Question

我有一个Perl脚本,它会分叉许多子进程.我希望有一些类似的功能,xargs --max-procs=4 --max-args=1或者make -j 4Perl将保持一定数量的进程运行,直到它用完为止.

很容易说fork 4进程并等待它们全部完成,然后再另外四个,但我想保持四个或n个进程同时运行,一完成就分叉一个新进程.

在Perl中有一种简单的方法来实现这样的进程池吗？

Answer 1

Forks::Super 可以处理这个要求.

use Forks::Super MAX_PROC => 5, ON_BUSY => [ block | queue ];

调用fork()可以阻塞,直到活动子进程数低于5,或者您可以将其他参数传递给fork调用,并且要执行的任务可以排队:

fork { sub => sub { ... task to run in subprocess ... } }

当一个子进程完成时,队列中的另一个作业将启动.

(我是这个模块的作者).

Answer 2

查看Parallel :: ForkManager - 它完成了您描述的大部分内容.您可以设置最大进程数,并且一旦完成,回调函数就可以启动一个新子进程(只要有工作要做).