小编Whi*_*key的帖子

微服务的气流架构

我当前的平台架构有一个用于下载/收集数据的微服务、一个用于 ETL 的微服务和另一个用于处理一些复杂 SQL 脚本的微服务。

我想使用 Airflow 来安排和监控工作流程。我尝试了一下,效果非常好。然而,我必须将所有功能作为任务放入 Airflow 的一个容器中;这不符合当前的微服务架构。我想要的是使用 Airflow 作为调度程序并与其他微服务进行通信。

我想问: 将 Airflow 与微服务结合使用的最佳方式是什么?我是否应该使用 DAG 中的任务与微服务进行通信(发布消息,微服务将订阅)?

DAG 可以描述如下。请注意,还有其他任务,例如下载数据后的验证,但我只是简化了它。 有向无环图

python architecture etl microservices airflow

5
推荐指数
1
解决办法
3623
查看次数

标签 统计

airflow ×1

architecture ×1

etl ×1

microservices ×1

python ×1