试图让Apache Spark与IntelliJ一起工作

Question

我想让Apache Spark与IntelliJ一起工作.我在IntelliJ中创建了一个SBT项目并完成了以下工作:1.转到文件 - >项目结构 - >库2.单击中间部分的"+",单击Maven,单击Maven Repository中的Download Library,键入文本' spark-core'和org.apache.spark:spark-core_2.11:2.2.0,这是Spark的最新版本可用我将jar文件和源代码下载到项目文件夹3中的./lib中.Spark库现在显示在库列表中4.然后我右键单击org.apache.spark:spark-core_2.11:2.2.0并单击添加到项目并添加到模块现在当我单击左侧的模块时,然后我的主项目文件夹,然后右侧的Dependencies选项卡我可以看到外部库作为Maven库,但在单击Apply,重新构建项目并重新启动IntelliJ后,它将不会显示为外部库在项目中.因此我无法访问Spark API命令.我做错了什么？我查看了有关IntelliJ和其他一百个来源的所有文档,但找不到答案.

另外,我是否还需要在build.SBT文件中包含以下文本,以及将Apache Spark指定为外部库依赖项？我假设我需要在build.SBT文件中包含代码,或者手动将Spark添加为外部依赖项,但不能同时添加.我在build.SBT文件中包含了这段代码:

name := "Spark_example"

version := "1.0"

scalaVersion := "2.12.3"

val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)

我收到一个错误:sbt.ResolveException:unresolved dependency:org.apache.spark#spark-core_2.12; 2.2.0:not found

请帮忙!谢谢

Answer 1

Spark没有Scala版本2.12.x的版本.因此,将Scala版本设置为2.11.x

scalaVersion := "2.11.8"

val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)