我编写了示例 spark-scala 程序,用于从数据帧创建 json 元素列表。当我使用 main 方法执行时,它返回空列表,但是当我在没有扩展应用程序的对象的情况下执行时,它返回包含记录的列表。scala 对象中的 extends App 和 main 方法有什么区别
object DfToMap {
def main(args: Array[String]): Unit = {
val spark: SparkSession = SparkSession.builder()
.appName("Rnd")
.master("local[*]")
.getOrCreate()
import spark.implicits._
val df = Seq(
(8, "bat"),
(64, "mouse"),
(27, "horse")
).toDF("number", "word")
val json = df.toJSON
val jsonArray = new util.ArrayList[String]()
json.foreach(f => jsonArray.add(f))
print(jsonArray)
}
}
Run Code Online (Sandbox Code Playgroud)
它将返回空列表但以下程序为我提供了包含记录的列表
object DfToMap extends App{
val spark: SparkSession = SparkSession.builder()
.appName("Rnd")
.master("local[*]")
.getOrCreate()
import spark.implicits._
val df = Seq(
(8, "bat"), …Run Code Online (Sandbox Code Playgroud)