我们在hadoop集群中有Spark Batch作业和Spark流作业。
我们希望在同一平台上计划和管理它们。
我们遇到了气流,这符合我们对“编写,计划和监视工作流的平台”的需求。
我只希望能够停止和启动Spark Streaming工作。使用气流图和剖析问题不大。
我的问题是, 除了失去一些功能(图形,配置文件)之外,为什么我不应该使用Airflow来运行火花流作业?
我遇到了这个问题: 气流可以用来执行永无止境的任务吗?
这说可能,而不是为什么不应该。
streaming apache-spark airflow
airflow ×1
apache-spark ×1
streaming ×1