Celery与ProcessPoolExecutor/ThreadPoolExecutor

Question

我正在创建一个django webserver,允许用户在本地机器上运行一些"可执行文件"并通过网页分析它们的输出.

我之前使用过Celery任务队列,以便在类似的情况下运行"可执行文件".但是,在阅读了Python concurrent.futures之后,我开始怀疑我是否应该使用ThreadPoolExecutor,或者ProcessPoolExecutor(或者ThreadPoolExecutor在a ProcessPoolExecutor:D中)？

谷歌搜索我只能找到一个相关的问题比较芹菜和龙卷风,它转向单独使用龙卷风.

我应该使用Celery还是PoolExecutor我的简单网络服务器,为什么？

Answer 1

如果出现以下情况,您需要使用芹菜

1. 您希望轻松独立于Web服务器进行扩展
2. 您想要一种监视任务的方法,并在失败时重试它们
3. 您想要创建更高级的任务执行模式(例如,链接它们)

除了这是一个非常成熟的库,其侧面项目也可以帮助您在UI演示方面,看看Jobtastic.

如果您不需要任何列出的要点,您只需要执行此任务,而无需关心状态,也不需要特定的可扩展性需求,而不仅仅是保持简单.

关于使用ThreadPoolExecutor或者ProcessPoolExecutor只记住第二个将只能接收和返回可选择的对象,并且第一个将生成附加到主进程的子线程(如果你没有在另一个分离的进程中使用它,可能是你的web服务器)所以混合它们的方法可能有意义,具体取决于您的实施细节.