何时将Airflow的执行器从LocalExecutor升级到CeleryExecutor？

Question

我目前正在使用LocalExecutor运行多个Airflow DAG，并且运行良好。我的服务器有很多资源。我将为一个更大的项目添加一个新的DAG，并且我正在考虑从LocalExecutor切换到CeleryExecutor。

我的问题是，我应该改用CeleryExecutor有哪些迹象？我是否应该查看特定的性能指标，以了解何时需要开始向外扩展？

Answer 1

的LocalExecutor，如果你想运行一个小数量的并发任务，从而与您的调度需要这些任务可以运行在一台服务器应该是足够的。CeleryExecutor当您认为需要在多台服务器上分发作业时，应该考虑迁移到。