标签: queue

如何在laravel 5中覆盖失败的作业插入的数据库连接?

我正在尝试开发一个多租户多数据库应用程序,这基本上意味着每个租户都有自己的数据库、自己的用户、资源等。

当然,当请求进来时,Laravel 需要知道要使用哪个 DB 连接,所以我编写了一个中间件,它基本上解析请求中的 JWT 并查找租户 ID 或用户名,然后简单地连接到租户的数据库。

但是现在我正在使用队列,并且我试图超越连接到主数据库并插入失败作业记录的 laravel 5 的默认行为。

当我深入研究供应商文件时,我发现了一个FailedJobProvider接口:

<?php

namespace Illuminate\Queue\Failed;

interface FailedJobProviderInterface
{
    /**
     * Log a failed job into storage.
     *
     * @param  string  $connection
     * @param  string  $queue
     * @param  string  $payload
     * @return void
     */
    public function log($connection, $queue, $payload);

    /**
     * Get a list of all of the failed jobs.
     *
     * @return array
     */
    public function all();

    /**
     * Get a single failed job.
     *
     * …
Run Code Online (Sandbox Code Playgroud)

php queue laravel laravel-5

5
推荐指数
1
解决办法
1964
查看次数

Ruby 队列到数组

有没有除此之外的其他方法来获取队列对象的所有元素?

def method queue
    array = []
    until queue.empty? do
        array << queue.pop
    end
    array
end
Run Code Online (Sandbox Code Playgroud)

我正在尝试这样的事情:

def method queue
    Array(until queue.empty? do queue.pop end)
end
Run Code Online (Sandbox Code Playgroud)

但这会返回一个空数组。

ruby arrays queue loops

5
推荐指数
2
解决办法
2543
查看次数

队列对象只能通过继承在进程之间共享

我有两个 python 类,它们共享一个基类,假设定义了一个 multiprocessing.Queue。

这些类中的每一个都将在单独的子进程上启动,并且需要通过队列共享信息。

现在,如果基类定义了一个队列,那么每个子类对象将实例化它自己的队列,从而无法共享队列元素。但话又说回来,我发现这记录

Queue objects should only be shared between processes through inheritance. 
Run Code Online (Sandbox Code Playgroud)

那么在子进程之间共享队列的正确方法是什么,上面的句子甚至如何有意义?

请注意,我显然可以在子进程初始化时传递对队列的引用,但我想使用继承来解决这个问题

python queue python-multiprocessing

5
推荐指数
1
解决办法
5522
查看次数

NotImplementedError(使用排队后端...)使用delayed_job

在我的 Rails 应用程序 (4.2.4) 中,我一直在尝试让异步邮件发送工作。

我安装了 delay_job 作为我的队列适配器,并在几个地方将它设置为适配器:config/application.rb、config/environments/{development,production}.rb 和 config/initializers/active_job.rb。

安装:

我将此添加到我的 Gemfile 中:

gem 'delayed_job_active_record'
Run Code Online (Sandbox Code Playgroud)

然后,我运行了以下命令:

$ bundle install
$ rails generate delayed_job:active_record
$ rake db:migrate
$ bin/delayed_job start
Run Code Online (Sandbox Code Playgroud)

在 config/application.rb、config/environments/production.rb、config/environments/development.rb 中:

config.active_job.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)

在 config/initializers/active_job.rb 中(在上述方法不起作用时添加):

ActiveJob::Base.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)

我还为 delay_job 运行了 ActiveRecord 迁移,并在运行我的服务器之前启动了 bin/delayed_job。

话虽如此,任何时候我尝试:

UserMailer.welcome_email(@user).deliver_later(wait: 1.minutes)
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

NotImplementedError (Use a queueing backend to enqueue jobs in the
future. Read more at http://guides.rubyonrails.org/active_job_basics.html):
    app/controllers/user_controller.rb:25:in `create'
    config.ru:25:in `call'
Run Code Online (Sandbox Code Playgroud)

我的印象是 delay_job 是一个排队后端......我错过了什么吗?

编辑:

我也不能让 sucker_punch 工作。在捆绑器中安装吸盘冲床时,并使用:

config.active_job.queue_adapter = …
Run Code Online (Sandbox Code Playgroud)

queue ruby-on-rails delayed-job

5
推荐指数
1
解决办法
1900
查看次数

队列与非阻塞 I/O

因此,我们正在设计一种新的微服务架构。最大的挑战之一是内部沟通。对于需要响应的通信,我们使用 REST API。但是对于那些只想传递信息的服务来说,这种 API 处理是不必要的开销。

一种方法是使用队列。service1 会将信息推送到队列中,service2 可以从那里消费。因此 service1 不必等待(与 API 调用不同)。(如果在处理信息时出现任何错误,service2 可以通过回调 URL 通知 service1,或者任何其他方式;此时这不是问题[1])

现在有了 Queue ,有两种选择,一种是RabbitMQ。另一个是AWS SQS。使用 RabbitMQ 我不得不担心服务器设置和一切(可以完成,但想避免它)。所以在 SQS 的 POC 之后,这似乎是一个不错的选择,但问题是 SQS 内部使用 Rest API 与 AWS 服务器通信,在这两个点上(推送时为 service1,消费时为 service2),都会有开销。所以现在我在想为什么不在 NodeJS 中这样做,service1 会用信息命中 service2。Service2 将立即响应,承认它已收到信息,如果有任何错误,则 [1]。

现在我可以总结的优点/缺点是 -

兔MQ

  • 易于实施
  • 在接收方不可用的情况下,发送方不必担心重试。
  • 服务器设置成本 + 维护(+ 调优)

质量标准

  • 最容易实施
  • 价钱
  • 消息的持续轮询
  • 推送/接收开销

非阻塞 API

  • 沟通不需要第三种媒介
  • Service1 必须管理重试机制
  • 相对于 SQS,开销更少
  • 信息将在内存中直到被处理

所以对一些人来说,我的问题是,使用非阻塞 API 是个好主意吗?或者在使系统可扩展方面,哪一种方法会更好。

编辑 - 可以使用 PubNub 或 Pusher 等 PubSub 提供程序代替队列吗?

architecture queue rabbitmq amazon-sqs node.js

5
推荐指数
1
解决办法
1087
查看次数

加入多处理队列需要很长时间

在 Python 2.7 中,我实现了一个具有多个队列和消费者的多处理场景。简化的想法是,我有一个作业的生产者,这些作业被提供给消费者,处理作业和一个错误处理程序,它负责所有的日志记录。非常简化,看起来都可以与之媲美:

import multiprocessing as mp
import Queue

job_queue = mp.Queue()
error_queue = mp.Queue()
for i in range(10):
    job_queue.put(i)

def job_handler(job_queue, error_queue):
    print 'Job handler'
    while True:
        try: 
            element = job_queue.get_nowait()
            print element
        except:
# t1
            error_queue.put('Error')
            error_queue.close()
            error_queue.join_thread()
            job_queue.close()
            job_queue.join_thread()
# t2
            return 1

def error_handler(error_queue):
    result = error_queue.get()
    if result == 'Error':
        error_queue.close()
        error_queue.join_thread()

if __name__ == '__main__':
    print 'Starting'
    p1 = mp.Process(target = error_handler, args = (error_queue, ))
    p1.start()
    p2 = mp.Process(target = job_handler, args …
Run Code Online (Sandbox Code Playgroud)

python queue python-multiprocessing

5
推荐指数
1
解决办法
3513
查看次数

Python我如何准确地安排一次任务

所以我有这个 python 应用程序,我需要在特定的日期时间安排任务。

我在想这样的事情:

    scheduler.add(datetime,func())
Run Code Online (Sandbox Code Playgroud)

它将在指定的日期和时间但准确地调用函数 func。我想要秒甚至毫秒的精度。

我搜索并找到了“调度程序”模块并尝试了它,但您只能使用 hh:mm 格式而不是 hh:mm:ss 格式。

我希望我很清楚

python queue jobs scheduler task

5
推荐指数
1
解决办法
2025
查看次数

Laravel 5.5 队列调度不工作

也许我不了解 Laravel 队列的工作原理,或者它本身不起作用,我对 Laravel 队列/调度的预期行为是,如果从控制器启动调度,则调度到队列的代码应静默执行,并在背景。最终用户浏览器不应等待代码执行。

然而,这就是我的代码发生的情况,调度到队列的代码在执行时让浏览器“旋转...”。

这是预期的行为吗?编码:

    **Controller:**

    public function make_eps_certs($tbl_eps)
    {
        //dd(Carbon::now()->addMinutes(10))
        Log::info('Dispatching maeEPSCert to Queue');
        $var_result=makeEPSCerts::dispatch($tbl_eps)->onQueue('eventadmin')
            ->delay(10);  
return redirect()->back();
}


    **Job:**

    namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;

use App\partSubs;
use Log;

use Image;

class makeEPSCerts implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    /**
     * Create a new job instance.
     *
     * @return void
     */

    protected $passdata;
    public $timeout = 120;

    public function __construct($passdata)
    {
        Log::info('Constructing makeEPSCert');
        $this->passdata = $passdata;
    }

    /** …
Run Code Online (Sandbox Code Playgroud)

queue dispatch laravel laravel-5.5

5
推荐指数
1
解决办法
1万
查看次数

Semaphore(int permit, boolean fair),公平到底是做什么的?

如果信号量上没有可用的许可,我需要实现一个 FIFO 队列。我的教授指定在考试期间我们将只能使用acquire()和release()方法。我的想法是使用tryAcquire()如果结果为 false 将在 List 底部添加 currentThread的方法来实现 LinkedList 。无法使用tryAcquire()我搜索的方法,我注意到了这个结构。如果我初始化一个信号量,例如:

Semaphore example = new Semaphore(5, true);
Run Code Online (Sandbox Code Playgroud)

如果一个线程试图acquire()在一个已用尽其许可的信号量上使用方法,会发生什么?它会自动创建队列吗?我必须以任何方式处理它还是该过程是自动的?

java queue semaphore fifo

5
推荐指数
1
解决办法
659
查看次数

async.queue 带有 async/await 风格的函数

我正在尝试创建一个函数,该函数从对象数组构建队列,然后通过调用多个函数来处理每个对象。

处理函数是异步函数,在需要排队之前,我使用 async/await 模式实现。我认为这是必要的,因为每个都依赖于前一个的输出,我不想有大量的嵌套 promise.then

即以前我有:

await Promise.all(messages.map(async(message) => {
    let activity = await activityController.getActivity(message.activityId);
    let url = await SMSController.getUrl(message.Token);
    let smsSendResult = await SMSController.sendSMS(messageString, activity.mobileNo);
    // etc...
}
Run Code Online (Sandbox Code Playgroud)

现在我想要做的是:

let queue = async.queue((message, done) => {
     let activity = await activityController.getActivity(message.activityId);
     let smsSendResult = await SMSController.sendSMS(messageString, activity.mobileNo);
    // etc...
}

messages.forEach((message) => {
    queue.push(message);
})
Run Code Online (Sandbox Code Playgroud)

我有问题,虽然这会导致

SyntaxError: await is only valid in async function

我似乎不太明白如何解决这个问题。

javascript queue async-await

5
推荐指数
1
解决办法
3122
查看次数