我正在运行一个Spark批处理作业并使用,SparkSession因为我需要很多spark-sql功能来处理我的每个组件.它SparkContext在我的父组件中初始化,并作为传递给子组件SparkSession.
在我的一个子组件中,我想为我添加两个以上的配置SparkContext.因此,我需要检索SparkContext从SparkSession,停止并重新创建SparkSession与额外的配置.为此,我如何从SparkSession中检索SparkContext？
我写了以下内容:
val a = 1 to 10000
val b = sc.parallelize(a)
它显示错误说:
<console>:12: error: not found: value sc
有帮助吗？
我是Scala的新手,我正在尝试使用以下代码编写读取文件的代码
scala> val textFile = sc.textFile("README.md")
scala> textFile.count()
但我不断收到以下错误
error: not found: value sc
我已经尝试了一切,但似乎没有任何效果.我使用Scala版本2.10.4和Spark 1.1.0(我甚至尝试过Spark 1.2.0,但它也不起作用).我已经安装并编译但无法运行sbt/sbt assembly.是因为这个错误？