优雅地关闭 Spark 结构化流

Question

有一种方法可以通过将属性设置spark.streaming.stopGracefullyOnShutdown为 true 来正常关闭 Spark Streaming，然后使用命令终止进程kill -SIGTERM。但是我没有看到这样的选项可用于结构化流（SQLContext.scala）。

结构化流的关闭过程是否不同？或者只是还没有实施？

Answer 1

该功能尚未实现。但 Spark 结构化蒸汽的预写日志声称可以毫无问题地恢复状态和偏移量。