相关疑难解决方法(0)

我想知道在通过HTTP获取请求时是否可以执行气流任务.我对Airflow的调度部分不感兴趣.我只想用它作为芹菜的替代品.

所以一个示例操作就是这样的.

1. 用户提交请求报告的表单.
2. 后端接收请求并向用户发送已收到请求的通知.
3. 然后,后端使用Airflow安排作业立即运行.
4. 然后,Airflow执行与DAG相关的一系列任务.例如,首先从redshift中提取数据,从MySQL提取数据,在两个结果集上进行一些操作,将它们组合,然后将结果上传到Amazon S3,发送电子邮件.

从我在线阅读的内容中,您可以通过airflow ...在命令行上执行来运行气流作业.我想知道是否有一个python api可以执行相同的事情.

谢谢.

Airflow 中的传感器- 是某种类型的操作符，会一直运行直到满足某个标准，但它们会占用一个完整的工作槽。好奇人们是否能够可靠地使用更有效的方法来实现这一点。

我的一些想法

• 使用池来限制分配给传感器的工作槽数量
• 跳过下游的所有任务，然后通过外部触发器清除和恢复
• 暂停 DAG 的运行并通过外部触发器再次恢复

其他相关链接：

• 如何在 Airflow 中实现轮询？

• 如何在使用 Airflow 实现的工作流中等待 DAG 任务中的异步事件？

• 气流以编程方式取消暂停 dag？