我当前的平台架构有一个用于下载/收集数据的微服务、一个用于 ETL 的微服务和另一个用于处理一些复杂 SQL 脚本的微服务。
我想使用 Airflow 来安排和监控工作流程。我尝试了一下,效果非常好。然而,我必须将所有功能作为任务放入 Airflow 的一个容器中;这不符合当前的微服务架构。我想要的是使用 Airflow 作为调度程序并与其他微服务进行通信。
我想问: 将 Airflow 与微服务结合使用的最佳方式是什么?我是否应该使用 DAG 中的任务与微服务进行通信(发布消息,微服务将订阅)?
DAG 可以描述如下。请注意,还有其他任务,例如下载数据后的验证,但我只是简化了它。 有向无环图