从pyspark shell中运行脚本

Question

我可以通过键入来从unix命令行运行我的python + pyspark脚本

pyspark script.py

但是如何在pyspark shell中运行script.py？这似乎是一个基本问题,但我无法在任何地方找到答案.我试过了

execfile('script.py')

但我得到一个错误,其中包括:

ValueError: Cannot run multiple SparkContexts at once

Answer 1

错误可能来自于script.py尝试创建新的SparkContext变量吗？

当您启动pyspark交互式客户端时,它通常会说: SparkContext available as sc, HiveContext available as sqlContext.

如果您的脚本文件包含sc = SparkContext(),也许可以尝试对其进行评论.