使用Airflow在另一台计算机上安排任务

Question

我在Ubuntu远程服务器上成功设置了带有Postgres数据库的Airflow,看起来很棒.

我能够连接到我的数据仓库(一个单独的服务器),并轻松地将查询作为任务发出.这很简单,因为安装了Airflow的服务器实际上是在发出查询.

由于我现在只是在测试Airflow,它安装在一个相当小的低功耗服务器上.有没有办法安排任务在我强大的Windows桌面上运行？或者利用我的本地机器下载数据/流程文件的最佳方法是什么,并且仍然让Airflow知道任务已成功完成？

Answer 1

Airflow旨在支持工作负载的分配.如果您运行airflow workers的是做大量数据处理的Windows计算机上,那么你可以使用自己的计算能力,同时运行你airflow scheduler和airflow webserver你的小机器,这只是不断引发新的任务,检查心跳和更新任务状态上.要使此设置起作用,您必须使用CeleryExecutor.我在第一次设置时发现这个博客很有用