为什么我的“org.apache.spark.sql”下面没有“SparkSession”

Question

我使用 IDEA 和 SBT 在我的 MAC 中创建一个项目。当我想使用SparkSession时，我只能找到catalyst下面的spark.sql。

我尝试了关于 Scala 和 Spark 的不同版本，但它不起作用。

import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkContext

object App {
    def main(args : Array[String]) {
        val spark = SparkSession
            .builder()
            .appName("GitHub push counter")
            .master("local[*]")
            .getOrCreate()

        val sc = spark.SparkContext()
    }
}

IDEA 中第一行org.apache.spark.sql.SparkSession是红色的。

下面是build.sbt项目中的：

name := "SparkExample"

version := "0.1"

scalaVersion := "2.12.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.2"

我不配置 Hadoop，因为我只想在本地运行它并做一些练习。我希望你可以帮助我。

Answer 1

您还应该添加 Spark-sql

val sparkVersion = "2.4.2"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)