如何检查SparkContext是否已停止？

Question

如何检测是否SparkContext已停止？

Answer 1

这适用于写入时间的Scala/Java API

在Spark发布1.6版之前,你将无法检查它,但只能触发它:

sc.stop()

从版本1.6及更高版本开始,您有一个布尔函数,如果上下文停止或正在停止,则返回true:

sc.isStopped

这适用于PySpark API

感谢@ zero323评论:

sc._jsc.sc().isStopped()

这给了你Java SparkContext.