当我试图在我的代码中做同样的事情,如下所述
dataframe.map(row => {
val row1 = row.getAs[String](1)
val make = if (row1.toLowerCase == "tesla") "S" else row1
Row(row(0),make,row(2))
})
Run Code Online (Sandbox Code Playgroud)
我从这里采取了上述参考: Scala:如何使用scala替换Dataframs中的值 但是我收到编码器错误
无法找到存储在数据集中的类型的编码器.导入spark.im plicits支持原始类型(Int,S tring等)和产品类型(case类)._将在以后的版本中添加对序列化其他类型的支持.
注意:我正在使用spark 2.0!
scala apache-spark apache-spark-sql apache-spark-dataset apache-spark-encoders