标签: queue

Python 多处理:RuntimeError:“队列对象只能通过继承在进程之间共享”

我知道 multiprocessing.Manager() 以及如何使用它来创建共享对象。特别是可以在工作人员之间共享的队列。有这个问题,这个问题,还有这个问题。

然而,这些链接并没有提到为什么我们可以使用继承来在进程之间进行共享。据我了解,在这种情况下仍然只能复制队列。

python queue multiprocessing python-multiprocessing

6
推荐指数
1
解决办法
3128
查看次数

如何将项目放回 queue.Queue

您如何将项目返回到 queue.Queue?如果任务失败,这将在线程或多处理中很有用,这样任务就不会丢失。

queue.Queue.get()的文档说该函数可以“从队列中删除并返回一个项目”,但我相信这里使用的“返回”一词是指将项目返回给调用线程的函数,不将其放回项目队列。下面的示例代码证明了这一点,它只是在主线程的第二次queue.Queue.get()调用上无限阻塞,而不是print()在线程中进行调用。

import time
import threading
import queue


def threaded_func():
    thread_task = myqueue.get()
    print('thread_task: ' + thread_task)

myqueue = queue.Queue()
myqueue.put('some kind of task')
main_task = myqueue.get()
print('main_task: ' + main_task)

t = threading.Thread(target=threaded_func)
t.daemon = True
t.start()

time.sleep(5)
myqueue.get()   # This blocks indefinitely
Run Code Online (Sandbox Code Playgroud)

我不得不相信有一种简单的方法可以将任务放回去,那么它是什么?在两个操作中调用task_done()然后put()使用任务将其放回队列不是原子性的,因此可能会导致丢失项目。

一种可能但笨拙的解决方案是尝试再次执行任务,但是您必须添加一些额外的行来处理这种复杂性,而且我什至不确定所有失败的任务是否一定能在其中恢复道路。

python queue multithreading

6
推荐指数
1
解决办法
3010
查看次数

Laravel 队列驱动程序没有在作业上调用 handle(),但 queue:listen 守护进程将作业记录为已处理

我已经接管了一个Laravel 5.2项目,该项目handle()被sync队列驱动程序成功调用。

我需要的驱动程序支持dispatch(..)->delay(..),并试图同时配置database和beanstalkd,有许多变化,失败-handle()不再是获取调用。

当前设置

我正在使用 Forge 进行服务器管理,并为此命令设置了一个守护程序,该守护程序由 Supervisor 自动保持运行:

php /home/forge/my.domain.com/envoyer/current/ artisan queue:listen --sleep=3 --tries=3

我也试过 queue:work,命名为 'database/beanstalkd',有和没有指定 --sleep, --tries , --deamon

我有一个活跃的 beanstalkd 工人在 forge 上运行。

我在 Envoyer中将默认驱动程序设置为beanstalkdin\config\queue.php和QUEUE_DRIVER=beanstalkdin my .envfrom,这对其他环境变量工作正常。

构建部署后,Envoyer 成功运行以下命令:

php artisan config:clear
php artisan migrate
php artisan cache:clear
php artisan queue:restart
Run Code Online (Sandbox Code Playgroud)

调试信息

我的queue:listen守护进程在 .forge 中生成日志说它处理了一项工作!

[2017-07-04 08:59:13] 处理:App\Jobs\GenerateRailwayReport

该作业类的定义如下:

class …
Run Code Online (Sandbox Code Playgroud)

php queue laravel forge server

6
推荐指数
0
解决办法
2665
查看次数

kafka vs 编年史队列 vs 破坏者

任何人都可以在日志记录方面比较 kafka、编年史队列和干扰器之间的底层设计和性能?似乎 kafka 拥有大多数用户,但不要避免 GC。

java queue messaging apache-kafka

6
推荐指数
1
解决办法
1995
查看次数

飞镖中的未来队列

我想实现一个聊天系统。

我被困在用户非常快速地发送多个消息的地步。尽管所有消息都以任何顺序到达服务器。

所以我想实现一个队列,每个消息都应该

  1. 首先被放入队列

  2. 等待轮到它

  3. 轮到发布请求

  4. 等待来自服务器的响应大约 5 秒

  5. 如果响应在时间范围内到达并且状态为 OK,则消息已发送,否则消息发送失败。

  6. 在第 5 点的任何情况下,消息都应出列,并给予下一条消息机会。

现在,主要问题是,每个聊天头或与我们交谈的用户可能有多个队列。我将如何实施?我真的是飞镖和扑的新手。请帮忙。谢谢!

queue asynchronous chat dart flutter

6
推荐指数
1
解决办法
3114
查看次数

如何在 Laravel 中监听 Postgres 监听/通知?

我的总体任务

我需要监听通过诸如 DBeaver 之类的数据库管理器完成的 Postgres 表更改(CRUD),并将更新的行 id 传递给 laravel 驱动的 API enpoint。

我拥有的

Postgres部分

在 Postgres 中,我创建了一个表、表的触发器以及在 postgres 端处理事件的函数

CREATE TABLE PUBLIC.TBLEXAMPLE
(
  KEY1 CHARACTER VARYING(10) NOT NULL,
  KEY2 CHARACTER VARYING(14) NOT NULL,
   VALUE1 CHARACTER VARYING(20),
  VALUE2 CHARACTER VARYING(20) NOT NULL,
   CONSTRAINT TBLEXAMPLE_PKEY PRIMARY KEY (KEY1, KEY2)
);

CREATE OR REPLACE FUNCTION PUBLIC.NOTIFY() RETURNS trigger AS
$BODY$
BEGIN
  PERFORM pg_notify('myevent', row_to_json(NEW)::text);
  RETURN new;
END;
$BODY$
LANGUAGE 'plpgsql' VOLATILE COST 100;


CREATE TRIGGER TBLEXAMPLE_AFTER
AFTER insert or update or delete 
ON …
Run Code Online (Sandbox Code Playgroud)

postgresql queue worker supervisord laravel

6
推荐指数
1
解决办法
2412
查看次数

Laravel 队列工作人员未注册服务提供者

我有一个有助于控制作业处理的包。它使用 Hyn/多租户模型。运行Job时抛出异常Database connection [tenant] not configured.

仅当我通过作曲家要求连接包时,它才会引发错误。如果我尝试使用 psr-4 自动加载连接包,一切正常!

我假设队列工作人员没有根据需要连接服务提供商。

这是抛出异常的部分

public function getProcess($job)
{
    $job = CompositeProcessHelpers::getJob($job);

    if ($id = $this->getProcessId($job)) {
        return CompositeProcess::query()->whereKey($id)->first();
    }

    return null;
}
Run Code Online (Sandbox Code Playgroud)

有谁知道 laravel 的队列工作人员如何注册服务提供者或如何解决这个问题?

queue worker multi-tenant laravel

6
推荐指数
0
解决办法
297
查看次数

Laravel - 作业表上的served_at和available_at有什么区别?

我已经尝试在 Google 和 Laravel 文档中找到答案。但很难找到两者之间的区别

reserved_at
available_at
Run Code Online (Sandbox Code Playgroud)

谁能解释一下该栏的含义是什么?

queue background-process laravel

6
推荐指数
1
解决办法
3011
查看次数

Laravel ShouldBeUnique 并不能让工作变得独一无二

我预计标有ShouldBeUnique接口的作业不会被多次调度。然而,所有工作都像平常一样调度。

在我的 .env 文件中,redis 设置为用于队列连接以及缓存驱动程序:

QUEUE_CONNECTION=redis
CACHE_DRIVER=redis
Run Code Online (Sandbox Code Playgroud)

我有两个正在运行的队列工作人员,它们竞争队列中的作业。

要推送作业,有控制台命令:

QUEUE_CONNECTION=redis
CACHE_DRIVER=redis
Run Code Online (Sandbox Code Playgroud)

作业类如下所示(注意uniqueId是相同的):

class TestUnique extends Command
{
    protected $signature = 'test:unique';
    protected $description = 'Command description';

    private Dispatcher $dispatcher;

    public function __construct(Dispatcher $dispatcher)
    {
        parent::__construct();
        $this->dispatcher = $dispatcher;
    }

    public function handle()
    {
        $this->dispatcher->dispatch(new SomeJob(1));
        $this->dispatcher->dispatch(new SomeJob(2));
        $this->dispatcher->dispatch(new SomeJob(3));
        $this->dispatcher->dispatch(new SomeJob(4));
        $this->dispatcher->dispatch(new SomeJob(5));

        return 0;
    }
}
Run Code Online (Sandbox Code Playgroud)

一旦我们运行控制台命令来调度作业,所有这些作业都会像通常没有ShouldBeUnique. 日志:

queue_worker_2       | [2021-10-04 08:07:44][p0j7QmQt7JNFEWUoxdaEOuheJiPFTYrh] Processing: App\Console\Commands\SomeJob
queue_worker_2       | string(14) "start handle 1"
queue_worker_1       | [2021-10-04 …
Run Code Online (Sandbox Code Playgroud)

php queue redis laravel

6
推荐指数
0
解决办法
2314
查看次数

Bull - 达到每个请求的最大重试次数限制

我正在使用 npm bull 添加队列作业来处理为我的项目发送邮件。它运行很长一段时间没有问题,但最近,它显示此错误: 处理任务收集指标时出错:达到每个请求的最大重试次数限制(即10)。有关详细信息,请参阅“maxRetriesPerRequest”选项。 错误日志 我检查了redis-cli: key *,它没有显示任何密钥。bull 模块支持 @bull-monitor/express 来监视作业,但由于错误显示,我无法访问监视器 bull 管理面板 ,这是我的代码

queue cron redis express bull

6
推荐指数
2
解决办法
1万
查看次数