您如何将项目返回到 queue.Queue?如果任务失败,这将在线程或多处理中很有用,这样任务就不会丢失。
queue.Queue.get()的文档说该函数可以“从队列中删除并返回一个项目”,但我相信这里使用的“返回”一词是指将项目返回给调用线程的函数,不将其放回项目队列。下面的示例代码证明了这一点,它只是在主线程的第二次queue.Queue.get()调用上无限阻塞,而不是print()在线程中进行调用。
import time
import threading
import queue
def threaded_func():
thread_task = myqueue.get()
print('thread_task: ' + thread_task)
myqueue = queue.Queue()
myqueue.put('some kind of task')
main_task = myqueue.get()
print('main_task: ' + main_task)
t = threading.Thread(target=threaded_func)
t.daemon = True
t.start()
time.sleep(5)
myqueue.get() # This blocks indefinitely
Run Code Online (Sandbox Code Playgroud)
我不得不相信有一种简单的方法可以将任务放回去,那么它是什么?在两个操作中调用task_done()然后put()使用任务将其放回队列不是原子性的,因此可能会导致丢失项目。
一种可能但笨拙的解决方案是尝试再次执行任务,但是您必须添加一些额外的行来处理这种复杂性,而且我什至不确定所有失败的任务是否一定能在其中恢复道路。
我已经接管了一个Laravel 5.2项目,该项目handle()被sync队列驱动程序成功调用。
我需要的驱动程序支持dispatch(..)->delay(..),并试图同时配置database和beanstalkd,有许多变化,失败-handle()不再是获取调用。
我正在使用 Forge 进行服务器管理,并为此命令设置了一个守护程序,该守护程序由 Supervisor 自动保持运行:
php /home/forge/my.domain.com/envoyer/current/ artisan queue:listen --sleep=3 --tries=3
我也试过 queue:work,命名为 'database/beanstalkd',有和没有指定 --sleep, --tries , --deamon
我有一个活跃的 beanstalkd 工人在 forge 上运行。
我在 Envoyer中将默认驱动程序设置为beanstalkdin\config\queue.php和QUEUE_DRIVER=beanstalkdin my .envfrom,这对其他环境变量工作正常。
构建部署后,Envoyer 成功运行以下命令:
php artisan config:clear
php artisan migrate
php artisan cache:clear
php artisan queue:restart
Run Code Online (Sandbox Code Playgroud)
我的queue:listen守护进程在 .forge 中生成日志说它处理了一项工作!
[2017-07-04 08:59:13] 处理:App\Jobs\GenerateRailwayReport
该作业类的定义如下:
class …Run Code Online (Sandbox Code Playgroud) 任何人都可以在日志记录方面比较 kafka、编年史队列和干扰器之间的底层设计和性能?似乎 kafka 拥有大多数用户,但不要避免 GC。
我想实现一个聊天系统。
我被困在用户非常快速地发送多个消息的地步。尽管所有消息都以任何顺序到达服务器。
所以我想实现一个队列,每个消息都应该
首先被放入队列
等待轮到它
轮到发布请求
等待来自服务器的响应大约 5 秒
如果响应在时间范围内到达并且状态为 OK,则消息已发送,否则消息发送失败。
在第 5 点的任何情况下,消息都应出列,并给予下一条消息机会。
现在,主要问题是,每个聊天头或与我们交谈的用户可能有多个队列。我将如何实施?我真的是飞镖和扑的新手。请帮忙。谢谢!
我需要监听通过诸如 DBeaver 之类的数据库管理器完成的 Postgres 表更改(CRUD),并将更新的行 id 传递给 laravel 驱动的 API enpoint。
在 Postgres 中,我创建了一个表、表的触发器以及在 postgres 端处理事件的函数
CREATE TABLE PUBLIC.TBLEXAMPLE
(
KEY1 CHARACTER VARYING(10) NOT NULL,
KEY2 CHARACTER VARYING(14) NOT NULL,
VALUE1 CHARACTER VARYING(20),
VALUE2 CHARACTER VARYING(20) NOT NULL,
CONSTRAINT TBLEXAMPLE_PKEY PRIMARY KEY (KEY1, KEY2)
);
CREATE OR REPLACE FUNCTION PUBLIC.NOTIFY() RETURNS trigger AS
$BODY$
BEGIN
PERFORM pg_notify('myevent', row_to_json(NEW)::text);
RETURN new;
END;
$BODY$
LANGUAGE 'plpgsql' VOLATILE COST 100;
CREATE TRIGGER TBLEXAMPLE_AFTER
AFTER insert or update or delete
ON …Run Code Online (Sandbox Code Playgroud) 我有一个有助于控制作业处理的包。它使用 Hyn/多租户模型。运行Job时抛出异常Database connection [tenant] not configured.
仅当我通过作曲家要求连接包时,它才会引发错误。如果我尝试使用 psr-4 自动加载连接包,一切正常!
我假设队列工作人员没有根据需要连接服务提供商。
这是抛出异常的部分
public function getProcess($job)
{
$job = CompositeProcessHelpers::getJob($job);
if ($id = $this->getProcessId($job)) {
return CompositeProcess::query()->whereKey($id)->first();
}
return null;
}
Run Code Online (Sandbox Code Playgroud)
有谁知道 laravel 的队列工作人员如何注册服务提供者或如何解决这个问题?
我已经尝试在 Google 和 Laravel 文档中找到答案。但很难找到两者之间的区别
reserved_at
available_at
Run Code Online (Sandbox Code Playgroud)
谁能解释一下该栏的含义是什么?
我预计标有ShouldBeUnique接口的作业不会被多次调度。然而,所有工作都像平常一样调度。
在我的 .env 文件中,redis 设置为用于队列连接以及缓存驱动程序:
QUEUE_CONNECTION=redis
CACHE_DRIVER=redis
Run Code Online (Sandbox Code Playgroud)
我有两个正在运行的队列工作人员,它们竞争队列中的作业。
要推送作业,有控制台命令:
QUEUE_CONNECTION=redis
CACHE_DRIVER=redis
Run Code Online (Sandbox Code Playgroud)
作业类如下所示(注意uniqueId是相同的):
class TestUnique extends Command
{
protected $signature = 'test:unique';
protected $description = 'Command description';
private Dispatcher $dispatcher;
public function __construct(Dispatcher $dispatcher)
{
parent::__construct();
$this->dispatcher = $dispatcher;
}
public function handle()
{
$this->dispatcher->dispatch(new SomeJob(1));
$this->dispatcher->dispatch(new SomeJob(2));
$this->dispatcher->dispatch(new SomeJob(3));
$this->dispatcher->dispatch(new SomeJob(4));
$this->dispatcher->dispatch(new SomeJob(5));
return 0;
}
}
Run Code Online (Sandbox Code Playgroud)
一旦我们运行控制台命令来调度作业,所有这些作业都会像通常没有ShouldBeUnique. 日志:
queue_worker_2 | [2021-10-04 08:07:44][p0j7QmQt7JNFEWUoxdaEOuheJiPFTYrh] Processing: App\Console\Commands\SomeJob
queue_worker_2 | string(14) "start handle 1"
queue_worker_1 | [2021-10-04 …Run Code Online (Sandbox Code Playgroud) queue ×10
laravel ×5
php ×2
python ×2
redis ×2
worker ×2
apache-kafka ×1
asynchronous ×1
bull ×1
chat ×1
cron ×1
dart ×1
express ×1
flutter ×1
forge ×1
java ×1
messaging ×1
multi-tenant ×1
postgresql ×1
server ×1
supervisord ×1