标签: django-celery

我将 celeryd 和 celerybeat 设置为守护进程，它们工作了不久。但从一段时间以来，它不会启动工作程序，也不会创建 pid 文件。

这是我的/etc/default/celeryd：

# Name of nodes to start
CELERYD_NODES="w1 w2 w3 w4 w5 w6 w7 w8"

# Extra arguments to celeryd
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# Where to chdir at start.
CELERYD_CHDIR="/srv/www/web-system/myproject"

# %n will be replaced with the nodename.
#CELERYD_LOG_FILE="/var/log/celery/%n.log"
#CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/srv/www/web-system/logs/celery/%n.log"
CELERYD_PID_FILE="/srv/www/web-system/pids/celery/%n.pid"

# Log level to use for celeryd. Default is INFO.
CELERYD_LOG_LEVEL="INFO"

# How to call "manage.py celeryd_multi"
CELERYD_MULTI="$CELERYD_CHDIR/manage.py celeryd_multi"

# How to call "manage.py celeryctl"
CELERYCTL="$CELERYD_CHDIR/manage.py celeryctl"

# Workers should …

我让芹菜与 django-celery 一起运行，基本上我无法弄清楚为什么芹菜工人在任务停止后保留内存？

是否有可以在特定任务结束时释放内存的参数？

我正在运行 Celery 3.1.16 和 rabbitmq 作为代理。

来自 ps 辅助：

1000      6411  0.3  3.8 117288 39564 pts/0    S+   12:44   0:00 /usr/bin/python /usr/local/bin/celery -A Website3 worker -l info
1000      6454  6.7  6.1 143660 62760 pts/0    S+   12:44   0:12 /usr/bin/python /usr/local/bin/celery -A Website3 worker -l info

数据保持这样，直到我杀死工人并重新启动它。

有没有可以设置释放内存的参数？

我正在遵循本指南：http : //docs.celeryproject.org/en/latest/django/first-steps-with-django.html

我的 proj.celery 文件：

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from celery.schedules import crontab

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'hc.settings')

app = Celery('hc')

app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()


@app.task
def debug_task(a):
    print a
app.conf.beat_schedule = {
    # Executes every Monday morning at 7:30 a.m.
    'debug-every-minute': {
        'task': 'tasks.debug_task',
        'schedule': crontab(),
        'args': ("BLa BLA BlA", ),
    },
}

另外，我已将定期任务添加到 /admin/django_celery_beat/

我知道app.conf.beat_schedule在 admin 中同时使用和 period_task是没有意义的，但我没有看到预期的条目

Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.

（我希望 Bla bla …

我正在用这个扯掉我的头发。

我的问题的症结在于，CELERY_DEFAULT_QUEUE在我的 Django设置中使用settings.py我的任务不会强制我的任务进入我设置的特定队列。它总是进入celery我的经纪人的默认队列。

但是，如果我queue=proj:dev在shared_task装饰器中指定，它会进入正确的队列。它的行为符合预期。

我的设置如下：

• 我本地主机上的 Django 代码（用于测试和其他东西）。.delay()通过 Django 的 shell ( manage.py shell)执行任务
• 配置为我的代理的远程 Redis 实例
• 在远程机器上配置的 2 名 celery 工作人员正在等待来自 Redis 的消息（在 Google App Engine 上 - 可能无关紧要）

注意：对于下面的代码片段，我隐藏了项目名称并用作proj占位符。

celery.py

from __future__ import absolute_import, unicode_literals

import os
from celery import Celery, shared_task

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')

app.config_from_object('django.conf:settings', namespace='CELERY', force=True)

app.autodiscover_tasks()


@shared_task
def add(x, y):
    return x + y

settings.py

...
CELERY_RESULT_BACKEND = …

我写了一个 Django 项目，它通过my_task.delay(). 问题是随着项目越来越大，正确路由任务真的很困难 - 我开始编写任务的唯一目的是组合不同的任务，这使得一段时间后代码变得混乱。

当我阅读一些 RabbitMQ 文档时，我找到了一个解决方案，它可以更好地构建我的项目，它依赖于Exchanges。Exchange可以将消息发布到Cosumer可以在其上消费它的多个队列，简而言之：