如何在scala中将元组列表转换为数据框

Question

我有一个字符串元组列表：List[(String, String, String)]。

如何使用Scala将其转换为数据框？

Answer 1

创建一个SparkSession（从Spark 2.0.0起）或SQLContext，然后可以使用隐式toDF()：

Spark 1.6或更早版本：

val sc = new SparkContext("local", "test")
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._

val df: DataFrame = list.toDF() // with default column names: _1, _2, _3
val dfWithColNames: DataFrame = list.toDF("col1", "col2", "col3")

Spark 2.0.0或更高版本：

val sparkSession: SparkSession = SparkSession.builder().appName("test").master("local").getOrCreate()
import sparkSession.implicits._

val df: DataFrame = list.toDF() // with default column names: _1, _2, _3
val dfWithColNames: DataFrame = list.toDF("col1", "col2", "col3")