小编Gil*_*lad的帖子

使用气流运行火花流作业?

我们在hadoop集群中有Spark Ba​​tch作业和Spark流作业。

我们希望在同一平台上计划和管理它们。

我们遇到了气流,这符合我们对“编写,计划和监视工作流的平台”的需求。

我只希望能够停止和启动Spark Streaming工作。使用气流图和剖析问题不大。

我的问题是, 除了失去一些功能(图形,配置文件)之外,为什么我不应该使用Airflow来运行火花流作业?

我遇到了这个问题: 气流可以用来执行永无止境的任务吗?

这说可能,而不是为什么不应该。

streaming apache-spark airflow

5
推荐指数
2
解决办法
673
查看次数

标签 统计

airflow ×1

apache-spark ×1

streaming ×1