无法使用 Intellij 导入 Spark.implicit._

Question

import org.apache.spark.sql.SparkSession

object DF_Exple1 {
  val spark: SparkSession=SparkSession.builder().master("local").appName("sparkpika").getOrCreate()
  val data2018 =spark.read.csv("D:\\bigData\\File\\Sales.csv")
  data2018.show()
}

我尝试import spark.implicits._ 但它会自动隐藏并且无法查看运行状态。

Answer 1

定义main 方法或使用App特征扩展对象，该特征将充当执行的入口点

首先通过以下方式创建SparkSession

import org.apache.spark.sql.SparkSession    
object DF1_Ex extends App{
val Spark = SparkSession
            .builder()
            .appName("Spark SQL basic example")
            .config("spark.some.config.option", "some-value")
            .getOrCreate()

现在导入

import Spark.implicits._

这里的Spark指的是上面已经创建好的SparkSession