如何按名称限制运行Celery任务的最大数量

Question

如何限制可以同时运行的特定Celery任务的实例数？

我有一个处理大文件的任务.我遇到了一个问题,用户可能会启动多个任务,导致服务器在尝试一次处理太多文件时耗尽CPU和内存.我想确保在任何给定时间只运行这种类型任务的N个实例,并且其他任务将在调度程序中排队等待,直到其他任务完成.

我看到任务装饰器中有一个rate_limit选项,但我认为这不符合我的要求.如果我正确理解文档,这只会限制任务的启动速度,但不会限制运行任务的总数,因此这会使我的服务器崩溃得更慢......但它仍然会尽管如此.

Answer 1

您必须设置额外的队列并为其设置所需的并发级别。从路由任务：

# Old config style    
CELERY_ROUTES = {
                'app.tasks.limited_task': {'queue': 'limited_queue'}
            } 

或者

from kombu import Exchange, Queue
celery.conf.task_queues = (
        Queue('default', default_exchange, routing_key='default'),
        Queue('limited_queue', default_exchange, routing_key='limited_queue')
    ) 

并启动额外的工作程序，只为 Limited_queue 服务：

$ celery -A celery_app worker -Q limited_queue --loglevel=info -c 1 -n limited_queue

然后您可以使用Flower或检查命令检查一切运行是否顺利：

$ celery -A celery_app worker inspect --help

Answer 2

您可以做的是将这些任务推送到特定的队列，并让X个工作人员来处理它们。将两个工作人员与100个项目放在一个队列中将确保同一时间只处理两个任务。