在Scala Spark Shell中不会自动创建Spark Context

Nip*_*nho 9 apache-spark

我读了一本Spark书:

驱动程序通过SparkContext对象访问Spark,该对象表示与计算集群的连接.在shell中,会自动为您创建一个名为sc的变量SparkContext.尝试打印sc以查看其类型

SC

当我输入sc时,它给出了一个错误20值sc未找到.知道为什么sc不会在我的scala spark shell中自动创建?

我尝试手动创建一个sc,它给了我一个错误,说JVM中已经有一个spark上下文.请看图片:

http://s30.photobucket.com/user/kctestingeas1/media/No%20Spark%20Context.jpg.html

我相信我已经在scala spark shell中,你可以在我的cmd窗口顶部看到指示bin\spark-shell

请指教.谢谢

小智 14

希望你找到了问题的答案,因为我也遇到了同样的问题.

在此期间,请使用此解决方法.在scala spark shell中,输入:

  1. import org.apache.spark.SparkContext
  2. val sc = SparkContext.getOrCreate()

然后你可以访问sc.