小编rak*_*esh的帖子

如何在我的 py Spark 代码中检查 SparkSession 状态？要求是检查sparkSession是否处于活动状态。如果sparksession未激活，创建另一个spark会话并调用一些函数

我正在 Jupyter 笔记本中编写并运行此代码。

spark = SparkSession.builder.master("yarn") \                                 
    .config("spark.dynamicAllocation.enabled", "true") \
                                    .config("spark.serializer", 
    "org.apache.spark.serializer.KryoSerializer")
    .config("spark.shuffle.spill.compress", "true")
    .config("spark.shuffle.service.enabled", "true")
    .config("spark.io.compression.codec", "snappy")
    .config("spark.kryoserializer.buffer.max", "250m") \
    .config("spark.driver.memory", memory) \
    .config("spark.driver.cores", cores) \
    .config("spark.executor.cores", cores) \
    .config("spark.executor.memory", memory) \
    .config("spark.executor.instances", cores) \
    .enableHiveSupport()\
    .getOrCreate()

2. Spark 打印 SparkSession 详细信息

3.

if(spark):
    print("yes")

else:
    print("no")

打印“是”

4. spark.stop()

它停止了 Spark 应用程序——我签入了 UI

但是当我再次在第三步运行代码时

5.

if(spark):
    print("yes")

else:
    print("no")

打印“yes”作为输出

6. 但它确实会产生火花

error : AttributeError: 'NoneType' object has no attribute 'sc'

7. 但是当我运行下一个命令时我看到了奇怪的事情

df = spark.read.csv(file_name) …