我正在尝试开发一个多租户多数据库应用程序,这基本上意味着每个租户都有自己的数据库、自己的用户、资源等。
当然,当请求进来时,Laravel 需要知道要使用哪个 DB 连接,所以我编写了一个中间件,它基本上解析请求中的 JWT 并查找租户 ID 或用户名,然后简单地连接到租户的数据库。
但是现在我正在使用队列,并且我试图超越连接到主数据库并插入失败作业记录的 laravel 5 的默认行为。
当我深入研究供应商文件时,我发现了一个FailedJobProvider接口:
<?php
namespace Illuminate\Queue\Failed;
interface FailedJobProviderInterface
{
/**
* Log a failed job into storage.
*
* @param string $connection
* @param string $queue
* @param string $payload
* @return void
*/
public function log($connection, $queue, $payload);
/**
* Get a list of all of the failed jobs.
*
* @return array
*/
public function all();
/**
* Get a single failed job.
*
* …Run Code Online (Sandbox Code Playgroud) 有没有除此之外的其他方法来获取队列对象的所有元素?
def method queue
array = []
until queue.empty? do
array << queue.pop
end
array
end
Run Code Online (Sandbox Code Playgroud)
我正在尝试这样的事情:
def method queue
Array(until queue.empty? do queue.pop end)
end
Run Code Online (Sandbox Code Playgroud)
但这会返回一个空数组。
我有两个 python 类,它们共享一个基类,假设定义了一个 multiprocessing.Queue。
这些类中的每一个都将在单独的子进程上启动,并且需要通过队列共享信息。
现在,如果基类定义了一个队列,那么每个子类对象将实例化它自己的队列,从而无法共享队列元素。但话又说回来,我发现这记录
Queue objects should only be shared between processes through inheritance.
Run Code Online (Sandbox Code Playgroud)
那么在子进程之间共享队列的正确方法是什么,上面的句子甚至如何有意义?
请注意,我显然可以在子进程初始化时传递对队列的引用,但我想使用继承来解决这个问题
在我的 Rails 应用程序 (4.2.4) 中,我一直在尝试让异步邮件发送工作。
我安装了 delay_job 作为我的队列适配器,并在几个地方将它设置为适配器:config/application.rb、config/environments/{development,production}.rb 和 config/initializers/active_job.rb。
安装:
我将此添加到我的 Gemfile 中:
gem 'delayed_job_active_record'
Run Code Online (Sandbox Code Playgroud)
然后,我运行了以下命令:
$ bundle install
$ rails generate delayed_job:active_record
$ rake db:migrate
$ bin/delayed_job start
Run Code Online (Sandbox Code Playgroud)
在 config/application.rb、config/environments/production.rb、config/environments/development.rb 中:
config.active_job.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)
在 config/initializers/active_job.rb 中(在上述方法不起作用时添加):
ActiveJob::Base.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)
我还为 delay_job 运行了 ActiveRecord 迁移,并在运行我的服务器之前启动了 bin/delayed_job。
话虽如此,任何时候我尝试:
UserMailer.welcome_email(@user).deliver_later(wait: 1.minutes)
Run Code Online (Sandbox Code Playgroud)
我收到以下错误:
NotImplementedError (Use a queueing backend to enqueue jobs in the
future. Read more at http://guides.rubyonrails.org/active_job_basics.html):
app/controllers/user_controller.rb:25:in `create'
config.ru:25:in `call'
Run Code Online (Sandbox Code Playgroud)
我的印象是 delay_job 是一个排队后端......我错过了什么吗?
编辑:
我也不能让 sucker_punch 工作。在捆绑器中安装吸盘冲床时,并使用:
config.active_job.queue_adapter = …Run Code Online (Sandbox Code Playgroud) 因此,我们正在设计一种新的微服务架构。最大的挑战之一是内部沟通。对于需要响应的通信,我们使用 REST API。但是对于那些只想传递信息的服务来说,这种 API 处理是不必要的开销。
一种方法是使用队列。service1 会将信息推送到队列中,service2 可以从那里消费。因此 service1 不必等待(与 API 调用不同)。(如果在处理信息时出现任何错误,service2 可以通过回调 URL 通知 service1,或者任何其他方式;此时这不是问题[1])
现在有了 Queue ,有两种选择,一种是RabbitMQ。另一个是AWS SQS。使用 RabbitMQ 我不得不担心服务器设置和一切(可以完成,但想避免它)。所以在 SQS 的 POC 之后,这似乎是一个不错的选择,但问题是 SQS 内部使用 Rest API 与 AWS 服务器通信,在这两个点上(推送时为 service1,消费时为 service2),都会有开销。所以现在我在想为什么不在 NodeJS 中这样做,service1 会用信息命中 service2。Service2 将立即响应,承认它已收到信息,如果有任何错误,则 [1]。
现在我可以总结的优点/缺点是 -
所以对一些人来说,我的问题是,使用非阻塞 API 是个好主意吗?或者在使系统可扩展方面,哪一种方法会更好。
编辑 - 可以使用 PubNub 或 Pusher 等 PubSub 提供程序代替队列吗?
在 Python 2.7 中,我实现了一个具有多个队列和消费者的多处理场景。简化的想法是,我有一个作业的生产者,这些作业被提供给消费者,处理作业和一个错误处理程序,它负责所有的日志记录。非常简化,看起来都可以与之媲美:
import multiprocessing as mp
import Queue
job_queue = mp.Queue()
error_queue = mp.Queue()
for i in range(10):
job_queue.put(i)
def job_handler(job_queue, error_queue):
print 'Job handler'
while True:
try:
element = job_queue.get_nowait()
print element
except:
# t1
error_queue.put('Error')
error_queue.close()
error_queue.join_thread()
job_queue.close()
job_queue.join_thread()
# t2
return 1
def error_handler(error_queue):
result = error_queue.get()
if result == 'Error':
error_queue.close()
error_queue.join_thread()
if __name__ == '__main__':
print 'Starting'
p1 = mp.Process(target = error_handler, args = (error_queue, ))
p1.start()
p2 = mp.Process(target = job_handler, args …Run Code Online (Sandbox Code Playgroud) 所以我有这个 python 应用程序,我需要在特定的日期时间安排任务。
我在想这样的事情:
scheduler.add(datetime,func())
Run Code Online (Sandbox Code Playgroud)
它将在指定的日期和时间但准确地调用函数 func。我想要秒甚至毫秒的精度。
我搜索并找到了“调度程序”模块并尝试了它,但您只能使用 hh:mm 格式而不是 hh:mm:ss 格式。
我希望我很清楚
也许我不了解 Laravel 队列的工作原理,或者它本身不起作用,我对 Laravel 队列/调度的预期行为是,如果从控制器启动调度,则调度到队列的代码应静默执行,并在背景。最终用户浏览器不应等待代码执行。
然而,这就是我的代码发生的情况,调度到队列的代码在执行时让浏览器“旋转...”。
这是预期的行为吗?编码:
**Controller:**
public function make_eps_certs($tbl_eps)
{
//dd(Carbon::now()->addMinutes(10))
Log::info('Dispatching maeEPSCert to Queue');
$var_result=makeEPSCerts::dispatch($tbl_eps)->onQueue('eventadmin')
->delay(10);
return redirect()->back();
}
**Job:**
namespace App\Jobs;
use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use App\partSubs;
use Log;
use Image;
class makeEPSCerts implements ShouldQueue
{
use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
/**
* Create a new job instance.
*
* @return void
*/
protected $passdata;
public $timeout = 120;
public function __construct($passdata)
{
Log::info('Constructing makeEPSCert');
$this->passdata = $passdata;
}
/** …Run Code Online (Sandbox Code Playgroud) 如果信号量上没有可用的许可,我需要实现一个 FIFO 队列。我的教授指定在考试期间我们将只能使用acquire()和release()方法。我的想法是使用tryAcquire()如果结果为 false 将在 List 底部添加 currentThread的方法来实现 LinkedList 。无法使用tryAcquire()我搜索的方法,我注意到了这个结构。如果我初始化一个信号量,例如:
Semaphore example = new Semaphore(5, true);
Run Code Online (Sandbox Code Playgroud)
如果一个线程试图acquire()在一个已用尽其许可的信号量上使用方法,会发生什么?它会自动创建队列吗?我必须以任何方式处理它还是该过程是自动的?
我正在尝试创建一个函数,该函数从对象数组构建队列,然后通过调用多个函数来处理每个对象。
处理函数是异步函数,在需要排队之前,我使用 async/await 模式实现。我认为这是必要的,因为每个都依赖于前一个的输出,我不想有大量的嵌套 promise.then
即以前我有:
await Promise.all(messages.map(async(message) => {
let activity = await activityController.getActivity(message.activityId);
let url = await SMSController.getUrl(message.Token);
let smsSendResult = await SMSController.sendSMS(messageString, activity.mobileNo);
// etc...
}
Run Code Online (Sandbox Code Playgroud)
现在我想要做的是:
let queue = async.queue((message, done) => {
let activity = await activityController.getActivity(message.activityId);
let smsSendResult = await SMSController.sendSMS(messageString, activity.mobileNo);
// etc...
}
messages.forEach((message) => {
queue.push(message);
})
Run Code Online (Sandbox Code Playgroud)
我有问题,虽然这会导致
SyntaxError: await is only valid in async function
我似乎不太明白如何解决这个问题。
queue ×10
python ×3
laravel ×2
amazon-sqs ×1
architecture ×1
arrays ×1
async-await ×1
delayed-job ×1
dispatch ×1
fifo ×1
java ×1
javascript ×1
jobs ×1
laravel-5 ×1
laravel-5.5 ×1
loops ×1
node.js ×1
php ×1
rabbitmq ×1
ruby ×1
scheduler ×1
semaphore ×1
task ×1