Arm*_*yan 2 python airflow airflow-scheduler airflow-2.x
我知道批处理依赖于数据的收集，流处理依赖于连续的数据。
请用简单的话解释一下为什么 Apache Airflow 不是一个数据流解决方案，而是一个批处理解决方案。
Airflow 根本不是数据处理解决方案：流式或批处理。Airflow 是一个“以编程方式编写、安排和监控工作流程的平台”
如果要构建数据处理工作流程，则应将所有计算委托给数据处理工具，例如 Apache Spark。因此，Airflow 没有其自身的限制（以及机会）以流式或批处理方式处理数据
但您可能会注意到，流式工作流程与 Airflow 协调起来更加困难。Airflow 中的工作流程被编写为有向图：一条语句完成后，执行将移至下一条语句。在流处理的情况下，不存在“完成”的时刻：所有进程连续且并行地工作
总结一下。您可以使用 Airflow 来“协调”流处理，但您不会从使用它中获得任何好处
| 归档时间： |
|
| 查看次数： |
3158 次 |
| 最近记录： |