Laravel运行多个计划任务

Question

我目前有一个计划的控制台命令,每5分钟运行一次,没有重叠,如下所示:

 $schedule->command('crawler')
             ->everyFiveMinutes()
             ->withoutOverlapping()
             ->sendOutputTo('../_laravel/storage/logs/scheduler-log.txt');

所以它工作得很好,但是我目前有大约220个页面需要大约3个小时才能以5分钟的增量完成,因为我只是强迫它在每个时间间隔抓取10个页面,因为每个页面由于各种各样需要20-30秒来爬行因素.每个页面都是数据库中的记录.如果我最终要抓取10,000个页面,则此方法不起作用,因为它需要超过24小时,并且每个页面应该每天重新抓取一次.

因此,我的供应商最多允许10个并发请求(或更高的计划),那么同时运行它的最佳方式是什么？如果我只是复制调度程序代码,它是否会运行相同的命令两次或者如果我重复它10次运行10次？任何会导致的问题？

然后我需要将参数传递给控制台,如1,2,3等...我可以用它来确定要爬行的页面？即1将是1-10个记录,2个将是接下来的11-20个记录,依此类推.

使用这个StackOverfow答案,我想我知道如何传递它,像这样:

 $schedule->command('crawler --sequence=1')

但是如何在Command班级中阅读该参数？它只是成为一个常规的PHP变量,即$sequence？

Answer 1

1. 最好使用队列进行作业处理
2. 在cron上,将所有作业添加到队列中
3. 运行多个队列工作程序,它们将并行处理作业

提示:它发生在我们身上.可能会发生之前添加的作业未完成,但cron再次在队列中添加相同的任务.由于队列按顺序工作.为了避免这种情况,您应该在上次完成任务时在数据库中标记,这样您就知道何时执行该作业(如果它被严重延迟)