是否有可能以及将列添加到数据框的最有效的方法是什么?
更具体地,列可以用作现有数据帧的行ID.
在简化的情况下,从文件读取而不是标记它,我可以想到如下(在Scala中),但它完成了错误(在第3行),并且无论如何看起来不是最好的路线:
var dataDF = sc.textFile("path/file").toDF()
val rowDF = sc.parallelize(1 to DataDF.count().toInt).toDF("ID")
dataDF = dataDF.withColumn("ID", rowDF("ID"))
Run Code Online (Sandbox Code Playgroud)