气流+芹菜或dask.为了什么,什么时候？

Question

我在官方Airflow文档中读到以下内容:

这究竟是什么意思？作者通过扩展意味着什么？也就是说,当是不足够的结合使用气流或者会有人利用气流的东西,如芹菜？(同dask)

Answer 1

在Airflow术语中,"Executor"是负责运行任务的组件.这LocalExecutor是通过在计算机上生成线程来实现的,Airflow运行并让线程执行任务.

当然,您的容量受到本地计算机上可用资源的限制.将CeleryExecutor负载分配给多台机器.执行程序本身发布一个执行任务到队列的请求,并且几个工作节点中的一个接收请求并执行它.您现在可以扩展工作节点集群以增加总体容量.

最后,还没有准备好,有一个KubernetesExecutor在工作(链接).这将在Kubernetes集群上运行任务.这不仅可以使您的任务完全隔离,因为它们在容器中运行,您还可以利用Kubernetes中的现有功能来自动扩展您的群集,以便始终拥有最佳的可用资源.

Answer 2

您可能会喜欢阅读一下dask与celery / airflow任务管理器的比较http://matthewrocklin.com/blog/work/2016/09/13/dask-and-celery

由于您不是在问一个特定的问题，因此像这样的一般阅读应该可以提供很多信息，也许您可​​以澄清自己的追求。