如何在pyspark脚本中访问SparkContext

Question

以下SOF问题如何在Pyspark中运行脚本并在完成后放入IPython shell？讲述如何启动pyspark脚本:

 %run -d myscript.py

但是我们如何访问existsin spark上下文呢？

只是创建一个新的不起作用:

 ---->  sc = SparkContext("local", 1)

 ValueError: Cannot run multiple SparkContexts at once; existing 
 SparkContext(app=PySparkShell, master=local) created by <module> at 
 /Library/Python/2.7/site-packages/IPython/utils/py3compat.py:204

但试图使用现有的...... 那么现有的呢？

In [50]: for s in filter(lambda x: 'SparkContext' in repr(x[1]) and len(repr(x[1])) < 150, locals().iteritems()):
    print s
('SparkContext', <class 'pyspark.context.SparkContext'>)

即SparkContext实例没有变量

Answer 1

从pyspark.context进口SparkContext

然后调用静态方法SparkContext:

sc = SparkContext.getOrCreate()

Answer 2

如果您已经创建了 SparkSession：

spark = SparkSession \
    .builder \
    .appName("StreamKafka_Test") \
    .getOrCreate()

然后您可以像这样访问“现有”SparkContext：

sc = spark.sparkContext