使用Celery创建动态队列

Question

这是我的情景:

当用户登录我的网站时,我会为给定用户排队一堆任务(通常每个任务需要100个msecs,每个用户有100个任务).这些任务排队到默认的Celery队列,我有100个工作人员正在运行.我使用websockets来显示用户在后端完成任务时的实时进度.如果我只有1或2个用户活跃,那么生活是美好的.

现在,如果我有几个并发用户登录到我的站点,后面的用户排在初始用户后面并且他们的任务会饿死(因为所有任务都进入同一个队列).我的想法是为每个用户创建一个动态队列以确保公平.但是根据Celery文档(http://docs.celeryproject.org/en/latest/userguide/routing.html#defining-queues),我似乎需要静态定义队列.

关于在我的场景中使用芹菜的最佳实践的任何建议？

Answer 1

http://docs.celeryproject.org/en/latest/userguide/workers.html#queues

celery -A proj control add_consumer foo -d worker1.local

同样可以使用 app.control.add_consumer() 方法动态完成：

app.control.add_consumer('foo', reply=True)
[{u'worker1.local': {u'ok': u"already consuming from u'foo'"}}]

app.control.add_consumer('foo', reply=True,
destination=['worker1@example.com'])

Answer 2

您可以在调用任务时动态地将任务分配到队列，请参阅calling.html#routing-options。如果您已启用，这将起作用CELERY_CREATE_MISSING_QUEUES。