相关疑难解决方法(0)

更改spark数据帧中列的可空属性

我正在为某些测试手动创建数据帧.创建它的代码是:

case class input(id:Long, var1:Int, var2:Int, var3:Double)
val inputDF = sqlCtx
  .createDataFrame(List(input(1110,0,1001,-10.00),
    input(1111,1,1001,10.00),
    input(1111,0,1002,10.00)))
Run Code Online (Sandbox Code Playgroud)

架构看起来像这样:

root
 |-- id: long (nullable = false)
 |-- var1: integer (nullable = false)
 |-- var2: integer (nullable = false)
 |-- var3: double (nullable = false)
Run Code Online (Sandbox Code Playgroud)

我想为这些变量中的每一个制作'nullable = true'.如何从一开始就声明它或在创建新数据帧后将其切换?

scala apache-spark spark-dataframe

21
推荐指数
4
解决办法
2万
查看次数

标签 统计

apache-spark ×1

scala ×1

spark-dataframe ×1