当任务结果很大时,我应该如何使用Celery？

Question

处理Celery中执行的结果很大的最佳方法是什么？我正在考虑像表转储之类的东西,在那里我可能会返回数百兆字节的数据.

我认为将消息填入结果数据库的天真方法不会在这里为我服务,更不用说如果我将AMQP用于我的结果后端.但是,我有一些延迟是一个问题; 根据导出的特定实例,有时我必须阻止它直到它返回并直接从任务客户端发出导出数据(导入内容的HTTP请求进入,它不存在,但必须在响应该请求......无论需要多长时间)

那么,为此编写任务的最佳方法是什么？

Answer 1

一种选择是在您的所有工作机器上运行一个静态 HTTP 服务器。然后，您的任务可以将大结果转储到静态根目录中的唯一文件，并返回对该文件的 URL 引用。然后接收器可以在空闲时获取结果。

例如。有点像这样：

@task
def dump_db(db):
  # Some code to dump the DB to /srv/http/static/db.sql
  return 'http://%s/%s.sql' % (socket.gethostname(), db)

您当然需要一些方法来获取旧文件，以及保证唯一性，可能还有其他问题，但您已经大致了解了。