正在运行的芹菜工作者+在同一容器中跳动

hug*_*ugo 5 python celery flask celerybeat docker

我的烧瓶应用程序由四个容器组成:Web应用程序,postgres,rabbitMQ和Celery。由于我有定期运行的芹菜任务,因此我使用的是芹菜节拍。我已经像这样配置了docker-compose文件:

version: '2'
services:
  rabbit:
    # ...      
  web:
    # ...
  rabbit:
    # ...
  celery:
    build:
        context: .
        dockerfile: Dockerfile.celery
Run Code Online (Sandbox Code Playgroud)

我的Dockerfile.celery看起来像这样:

# ...code up here...
CMD ["celery", "-A", "app.tasks.celery", "worker", "-B", "-l", "INFO"]
Run Code Online (Sandbox Code Playgroud)

当我在文档中阅读到我不应该使用该-B选项进行生产时,无论如何我还是匆忙添加了该选项(并忘记了对其进行更改),并很快了解到我的计划任务正在运行多次。对于那些感兴趣的人,如果您ps aux | grep celery在celery容器中执行a操作,则会看到多个celery + beat进程正在运行(但是应该只有一个Beat进程,但是应该有许多worker进程)。从文档中我不确定为什么不应该-B在生产环境中运行,但是现在我知道了。

所以然后我将Dockerfile.celery更改为:

# ...code up here...
CMD ["celery", "-A", "app.tasks.celery", "worker", "-l", "INFO"]
CMD ["celery", "-A", "app.tasks.celery", "beat", "-l", "INFO"]
Run Code Online (Sandbox Code Playgroud)

不,当我启动我的应用程序时,工作进程启动,但节拍没有启动。当我翻转这些命令时,将首先调用beat,然后启动beat,但不会启动工作进程。所以我的问题是:如何在容器中运行芹菜工作者+一起殴打?我已经梳理了许多文章/文档,但仍然无法弄清楚。

已编辑

我将Dockerfile.celery更改为以下内容:

ENTRYPOINT [ "/bin/sh" ]
CMD [ "./docker.celery.sh" ]    
Run Code Online (Sandbox Code Playgroud)

我的docker.celery.sh文件如下所示:

#!/bin/sh -ex
celery -A app.tasks.celery beat -l debug &
celery -A app.tasks.celery worker -l info &
Run Code Online (Sandbox Code Playgroud)

但是,我收到错误消息 celery_1 exited with code 0

编辑#2

我在docker.celery.sh文件的末尾添加了以下阻止命令,所有问题均已修复:

tail -f /dev/null
Run Code Online (Sandbox Code Playgroud)

sha*_*haf 7

docker仅运行一个CMD,因此仅执行第一个CMD,解决方法是创建一个同时执行worker和beat的bash脚本,并使用docker CMD执行此脚本。

  • 感谢您的回答,但不幸的是,它对我不起作用。根据您的建议,我遇到了同样的问题:也就是说,在我的 Dockerfile.celery 中,我正在运行 ENTRYPOINT [ "/bin/sh" ] 后跟 CMD [ "./docker.celery.sh" ]。shell 脚本有两个命令:`celery -A app.tasks.celery beat -l debug` 后跟 `celery -A app.tasks.celery worker -l info`。和以前一样,第一个命令执行但第二个命令不执行。难道我做错了什么? (2认同)