小编Sam*_*Sam的帖子

在Spark Scala中重命名DataFrame的列名

我试图转换DataFrameSpark-Scala中的所有标题/列名称.截至目前,我想出了以下代码,它只替换了一个列名.

for( i <- 0 to origCols.length - 1) {
  df.withColumnRenamed(
    df.columns(i), 
    df.columns(i).toLowerCase
  );
}
Run Code Online (Sandbox Code Playgroud)

scala dataframe apache-spark apache-spark-sql

83
推荐指数
3
解决办法
16万
查看次数

如何在Spark Scala中从多个数组创建DataFrame?

val tvalues: Array[Double] = Array(1.866393526974307, 2.864048126935307, 4.032486069215076, 7.876169953355888, 4.875333799256043, 14.316322626848278)
val pvalues: Array[Double] = Array(0.064020056478447, 0.004808399479386827, 8.914865448939047E-5, 7.489564524121306E-13, 2.8363794106756046E-6, 0.0)
Run Code Online (Sandbox Code Playgroud)

我有两个如上所述的数组,我需要从这个数组构建一个DataFrame,如下所示,

Tvalues                Pvalues
1.866393526974307      0.064020056478447
2.864048126935307      0.004808399479386827
......                 .....
Run Code Online (Sandbox Code Playgroud)

截至目前我StringBuilder在Scala 尝试.没有按预期进行.请帮帮我.

arrays scala linear-regression spark-dataframe

10
推荐指数
1
解决办法
2万
查看次数