相关疑难解决方法(0)

在Apache Spark 1.3中向Data Frame附加一列

是否有可能以及将列添加到数据框的最有效的方法是什么?

更具体地,列可以用作现有数据帧的行ID.

在简化的情况下,从文件读取而不是标记它,我可以想到如下(在Scala中),但它完成了错误(在第3行),并且无论如何看起来不是最好的路线:

var dataDF = sc.textFile("path/file").toDF() 
val rowDF = sc.parallelize(1 to DataDF.count().toInt).toDF("ID") 
dataDF = dataDF.withColumn("ID", rowDF("ID")) 
Run Code Online (Sandbox Code Playgroud)

scala dataframe apache-spark

51
推荐指数
3
解决办法
8万
查看次数

标签 统计

apache-spark ×1

dataframe ×1

scala ×1