celery 和长时间运行的任务

Question

我刚刚看了一个 youtube 视频，主持人提到应该将他/她的芹菜设计得短一些。运行几分钟的任务很糟糕。

这样对吗？我所看到的是我有一些长时间运行的任务，需要 10 分钟才能完成。当这些类型的任务被频繁调度时，队列被淹没并且没有其他任务被调度。这是原因吗？

如果是这样，长时间运行的任务应该使用什么？

Answer 1

长时间运行的任务不是很好，但说它们不好是不恰当的。处理长时间运行任务的最佳方法是为这些任务创建一个队列，让它们在单独的工作器上运行，然后是短任务。

Answer 2

长时间运行的任务的问题是，当您在服务器上推送新的软件版本时，您必须等待它们。如果您不等待，您的任务可能会运行可能不兼容的代码，特别是如果您将某些复杂对象作为参数进行腌制（强烈建议不要这样做）。