Laravel 5.2队列和工作 - 不推动工作DB

Question

编辑2:

以下是我们要经历的步骤:

1. 计划运行(CollectHistoricalData为每个公司创建工作)
2. CollectHistoricalData应该推到队列(jobs表)
3. CollectHistoricalData有一个函数ApiDaemon::GetCompanyWithQuery($company, $query),它从一个单独的类运行,该类也被引用到其他几个地方.
4. GetCompanyWithQuery 收集数据并将其插入数据库.

它一直运行良好,但挂起的不是将作业插入作业表,而是一个接一个地同步运行它.

---

编辑1:

该.env文件设置为使用database QUEUE_DRIVER,我甚至尝试在config/queue.php文件中进行硬编码.

---

我们正在使用Laravel 5.2进行项目.在这个项目中,我们需要每小时cURL一个url并将数据保存到数据库.我们起初使用Cron Jobs并在大约一分钟内基本上解雇了数千个cURL,这会因为负载而导致PHP崩溃.

我们决定搬到Laravel的工作和队列,没有成功.我们正在为我们的工作使用数据库驱动程序,并尝试了许多不同的方法来将作业放入数据库,因此我们拥有的守护程序工作者可以处理它们.

这是我们现在的代码,我们正在使用Kernel.php $schedule来关闭它,因此我们没有数百个请求试图在一小时内发生,这导致数万个cURL.

Kernel.php时间表:

    $schedule
        ->call(function () {
            $items = DB::select('{selecting certain things to run}');
            foreach ($items as $q) {
                $this->dispatch(new CollectHistoricalData(Company::find($q->company_id), ApiQuery::find($q->query_id)));
            }
        })
        ->hourly()
        ->name('Historical Pulls')
        ->withoutOverlapping()
        ->before(function() {
            $this->startTime = Carbon::now();
        })
        ->after(function () {
            mail({mail us a report afterward});
        });

当它运行时,它将一个接一个地运行它们,而不是将它们推送到创建的Jobs表.

CollectHistoricalData.php:

<?php

namespace App\Jobs;

use App\Helpers\Daemons\ApiDaemon;
use App\Jobs\Job;
use App\Models\Company;
use App\Models\ApiQuery;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;

class CollectHistoricalData extends Job implements ShouldQueue
{
    use InteractsWithQueue, SerializesModels;

    protected $company, $query;


    /**
     * CollectHistoricalData constructor.
     * @param Company $company
     * @param ApiQuery $query
     */
    public function __construct(Company $company, ApiQuery $query)
    {
        $this->company = $company;
        $this->query = $query;
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        mail({let us know what started and when});
        QueryDaemon::GetCompanyWithQuery($this->company, $this->query);
    }

    public function failed()
    {
        mail({mail us letting us know it failed});
    }


}

该作业正在引用其中具有该函数的另一个类(因为该代码本身就是一个狡猾的野兽),而且其中大约有20个,所以最简单的方法是引用该类而不是将所有20个类重新创建为Jobs.

TL; DR

我们有一个计划,它应该将引用另一个类中的函数的作业推送到作业表,而是缓慢地逐个运行它们.是什么造成的？

Answer 1

嗯......我很蠢....

php artisan config:clear

我没有清除配置的缓存....哇...

Answer 2

在 Laravel 6.x 中，在 /env 中编辑： QUEUE_CONNECTION=sync => QUEUE_CONNECTION=database 然后处理数据可以插入作业表