标签: message-queue

消息队列系统中的消息优先级本质上是不重要的吗？

似乎我所看到的大多数消息传递系统都具有对优先级消息队列的基本支持(如果有的话).例如,AMQP仅指定最少2个优先级.RabbitQQ是AMQP实现,不支持任何优先级.ActiveMQ将在几天内获得5.4版中10个消息优先级的支持.10个优先级是JMS规范指定的.

一个优先级队列基于与优先级的约束范围中的任意字段中字的非消息感命令其内容.为什么这样的实现不作为消息传递系统的一部分存在？正如我在标题中所说,优先考虑的是一种固有的非消息传递概念？

我意识到一个答案可能是优先级的概念引入了消息在队列中无限萎缩的可能性,同时处理了更高优先级的消息.还有其他原因吗？

messaging activemq-classic message-queue amqp rabbitmq

Edw*_*ale

lucky-day

18
推荐指数

2
解决办法

2792
查看次数

在我尽力研究实现消息队列服务器的最佳方法后,我问了这个问题.为什么操作系统会限制进程和全局系统可以拥有的打开文件描述符的数量？我当前的服务器实现使用zeromq,并为每个连接的websocket客户端打开一个订阅者套接字.显然,单个进程只能将客户端处理到fds的极限.当我研究这个主题时,我发现了很多关于如何将系统限制提高到高达64k fds的信息,但它从未提到它如何影响系统性能以及为什么它开始时为1k或更低？我目前的方法是尝试使用自己的循环中的协程向所有客户端发送消息,以及所有客户端及其订阅通道的映射.但我只是想听听关于文件描述符限制以及它们如何影响试图在每个客户端级别使用持久连接的应用程序的可靠答案？

operating-system file-descriptor message-queue zeromq websocket

jdi*_*jdi

2014 09-06

18
推荐指数

1
解决办法

3755
查看次数

消息队列和消息代理的区别

所以我一直试图了解消息队列和消息代理之间的区别，以及为什么应该使用一个而不是另一个。

所以据我了解。MESSAGE QUEUE 有助于进程间通信，但它基本上仅限于仅允许 2 个应用程序之间的通信？我问这个是因为例如 MSMQ（如果我的理解是正确的）只将消息存储在队列中，直到它被第一个消费者处理，之后它会自动将它从队列中删除。这样对吗？

现在 MESSAGE BROKERS 是 MESSAGE QUEUE 的某种扩展？因为它们提供了一种发布者 - 订阅者（S）关系的机制，就像观察者一样？

我的理解正确吗？如果是这样，两者之间还有其他区别吗？另外，您为什么要在 MESSAGE BROKER 上使用 MESSAGE QUEUE，因为您很可能会使用分布式系统，该系统肯定会由多个服务组成。

谢谢。

architecture message-queue distributed-system messagebroker

作者

2018 04-27

18
推荐指数

2
解决办法

4721
查看次数

如何在RabbitMQ服务器上设置超时检测？

我正在尝试使用这个 python绑定RabbitMQ.

我注意到的一件事是,如果我不洁净地杀死一个消费者(模仿一个崩溃的程序),服务器会认为这个消费者仍然存在很长时间.结果是每个其他消息都将被忽略.

例如,如果您杀死消费者1次并重新连接,则将忽略1/2消息.如果您杀死另一个消费者,则将忽略2/3消息.如果你杀了第3个,那么将忽略3/4个消息,依此类推.

我试过打开确认,但它似乎没有帮助.我找到的唯一解决方案是手动停止服务器并重置它.

有没有更好的办法？

如何重新创建此方案

运行rabbitmq.
取消归档此库.
在此处下载消费者和发布者.运行amqp_consumer.py两次.运行amqp_publisher.py,输入一些数据并观察它是否按预期工作.消息以循环方式接收.
使用kill -9或任务管理器杀死其中一个使用者进程.
现在,当您发布消息时,50%的消息将丢失.

python message-queue amqp rabbitmq

Unk*_*own

2009 10-08

17
推荐指数

3
解决办法

1万
查看次数

如何判断任务是否已在django-芹菜中排队？

这是我的设置:

django 1.3
芹菜2.2.6
django-celery 2.2.4
djkombu 0.9.2

在我的settings.py文件中

BROKER_BACKEND = "djkombu.transport.DatabaseTransport"

Run Code Online (Sandbox Code Playgroud)

即我只是使用数据库来排队任务.

现在我的问题是:我有一个用户启动的任务,可能需要几分钟才能完成.我希望每个用户只运行一次任务,我会将任务的结果缓存在一个临时文件中,这样如果用户再次启动任务,我只需返回缓存的文件.我的视图函数中的代码如下所示:

task_id = "long-task-%d" % user_id
result = tasks.some_long_task.AsyncResult(task_id)

if result.state == celery.states.PENDING:
    # The next line makes a duplicate task if the user rapidly refreshes the page
    tasks.some_long_task.apply_async(task_id=task_id)
    return HttpResponse("Task started...")
elif result.state == celery.states.STARTED:
    return HttpResponse("Task is still running, please wait...")
elif result.state == celery.states.SUCCESS:
    if cached_file_still_exists():
        return get_cached_file()
    else:
        result.forget()
        tasks.some_long_task.apply_async(task_id=task_id)
        return HttpResponse("Task started...")

Run Code Online (Sandbox Code Playgroud)

这段代码几乎可行.但是当用户快速重新加载页面时,我遇到了问题.在任务排队和最终将任务从队列中拉出并提供给工作人员之间有1-3秒的延迟.在此期间,任务的状态仍为PENDING,这会导致视图逻辑启动重复任务.

我需要的是一些方法来判断任务是否已经提交到队列中,所以我最终不会提交两次.在芹菜中有这样做的标准方法吗？

django message-queue celery django-celery

cwi*_*ick

2011 05-05

17
推荐指数

3
解决办法

6934
查看次数