如何关闭spark实例

Question

一旦我完成在 Jupyter 笔记本上运行的工作，我想在这里停止我的 Spark 实例。spark.stop()我确实在最后执行了，但是当我打开终端时，我仍然看到 Spark 进程ps -ef | grep spark，所以每次我都必须手动杀死 Spark 进程 ID。有人知道如何解决这个问题吗？谢谢！！

spark = SparkSession.builder \
    .master("local") \
    .appName("Test") \
    .config("spark.executorEnv.PYTHONPATH", "pyspark.zip:py4j-0.10.7-src.zip")\
    .config('spark.jars','/Users/xxx/Documents/snowflake-jdbc-3.12.8.jar,/Users/xxx/Documents/spark-snowflake_2.11-2.7.2-spark_2.4.jar') \
    .config('spark.jars.packages','org.apache.hadoop:hadoop-aws:2.7.3') \
    .getOrCreate()

Answer 1

尝试关闭 SparkContext 而不是 Spark 会话。您可以尝试以下操作：

sc.stop()

或者

spark.sparkContext.stop()

比你能做的

spark.stop()