如何从SparkSession实例访问SparkContext？

Question

我SparkSession在PySpark中导入如下:

from pyspark.sql import SparkSession

然后我创建SparkSession:

spark = SparkSession.builder.appName("test").getOrCreate()

并尝试访问SparkContext:

spark.SparkContext.broadcast(...)

但是,我收到一个SparkContext不存在的错误.如何访问它以设置broadcast变量？

Answer 1

你几乎把它弄好了,开头是小写的:

>>> spark.sparkContext
<SparkContext master=local[*] appName=PySparkShell>

Answer 2

假设您有一个 Spark 会话

spark_session = SparkSession \
    .builder \
    .enableHiveSupport() \
    .getOrCreate()

Spark Context 可以使用以下方式推断

spark_context = spark_session._sc

或者

spark_context = spark_session.sparkContext