Spark Streaming 正常关闭

Question

我看到有一个选项可以在两个地方配置正常关机：

1. 在定义 spark conf 时：

“spark.streaming.stopGracefullyOnShutdown”，“真”。

2. 停止流上下文时：

JavaStreamingContext scc;

scc.stop（真，真）

这两个选项有什么区别？

谢谢

Answer 1

第一种方式

sparkConf.set(“spark.streaming.stopGracefullyOnShutdown","true") 

在 spark 配置中将此参数设置为 True 可确保在新的 Spark 版本（1.4 及更高版本）应用程序中正常关闭。此外，我们不应使用第 1 种显式关闭挂钩方法或ssc.stop与此参数一起调用驱动程序中的方法。我们可以只设置这个参数，然后调用方法 ssc.start()和ssc.awaitTermination()。无需调用ssc.stop 方法。否则应用程序可能会在关机期间挂起。

第二种方式 scc.stop(true,true)

该scc.stop()方法的第一个布尔参数用于停止关联的 spark 上下文，而第二个布尔参数用于正常关闭流上下文

这已经明确提到这里的搽旦普拉卡什

希望这可以帮助！