如何限制perl中的最大并行线程数

gor*_*rba 7 perl multithreading

我有一个程序(Perl)启动了大量的线程(每个线程负责根据数据处理创建图形).我开始使用的每个线程:

my @threads //list to store threads that have been launched

push @threads,threads->create(\mySubName,params...);
Run Code Online (Sandbox Code Playgroud)

线程正确启动但过了一会儿,在我打开其中几个Perl解释器崩溃后(我认为它与内存有关?).所以我的解决方案是限制我一次打开的线程数,我选择了15.我想在每个创建行之前添加一个sub来检查是否可以在我等待时触发下一个线程或执行睡眠一个完成.这就是我尝试这样做的方式.

sub checkThreads{
    my $addThread = 0;
    until($addThread){
        my $totalThreads = 0;
        foreach my $task (@threads){
            if($task->is_running()){$totalThreads++;}
        }
        if($totalThreads <= 15 ){
            print "Ok to add new thread, carry on!\n";
            $addthread = 1;
        }else{
            print "Waiting for $totalThreads threads to fire next one...\n";
            sleep 2;
        }
    }
}
Run Code Online (Sandbox Code Playgroud)

所以每次我想创建一个新线程我都会打电话

&checkThreads;
Run Code Online (Sandbox Code Playgroud)

当我等待一些线程清理时,这会产生延迟.问题是,当我打电话给那个子时,我点击我检查的那一行:

$task->is_running()
Run Code Online (Sandbox Code Playgroud)

程序退出并停止运行,没有任何错误或警告.我只想要一个计算正在运行的线程来限制它们的子程序.

如何成功执行此计数?

我尝试的其他事情是评估以下行:

scalar(threads->list());
Run Code Online (Sandbox Code Playgroud)

但这给了我一个奇怪的价值,就像它是一个不起眼的参考我相信看起来像:

threads=SCALAR(0x80fea8c)
Run Code Online (Sandbox Code Playgroud)

Ric*_*ões 6

Thread :: Semaphore提供了一个计数信号量来限制并发:

my $sem = Thread::Semaphore->new(15); # max 15 threads
my @threads = map {
    # request a thread slot, waiting if none are available:
    $sem->down;
    threads->create(\&mySubName, @params)
} 0..100;
$_->join for @threads;
Run Code Online (Sandbox Code Playgroud)

在你的功能:

sub mySubName {
    do_stuff();
    # release slot:
    $sem->up;
}
Run Code Online (Sandbox Code Playgroud)

  • 您可以通过取消引用对象本身来获取信号量的货币值,这只是对最大值(默认值为 1)减去其计数的有福引用。因此,要获得当前未完成线程的数量,请评估 `$max - $$sem`。 (2认同)