气流python客户端

Question

我们有一些应用程序正在运行,我们想要开始使用气流.从文档中可以看出,启动DAG的唯一方法是通过命令行.这是真的？

例如,我们有一个烧瓶服务器正在运行,我们想要启动一些由气流控制的工作流程.我们怎样才能做到这一点？是否有触发的API,例如:"现在使用参数x,y,h运行DAG"？

Answer 1

有几种方法可以通过气流实现这一目标.这取决于你的情况,哪一个或任何一个适合你.我想到了两条建议:

1. 使用触发的DAG.在后台运行的Python作业可能会在事件发生时触发DAG执行.查看存储库中的example_trigger_controller_dag.py和example_trigger_target_dag.py:GitHub Airflow

2. 使用SensorTasks:您可以使用一些预定义的传感器来监听数据源中的特定事件.如果现有的传感器不能满足您的需求,气流应该足够适应,以便您实现自己的传感器气流传感器