如何将Spark Dataframe添加到另一个数据框的底部?

Gav*_*Niu 17 scala dataframe apache-spark

我可以用来withcolumn向Dataframe添加新列.但是在scala中如何向DataFrame添加新行?

我正在尝试将数据框添加到另一个的底部.因此,如何在scala中添加行或如何将DataFrame添加到另一个的底部将有所帮助.谢谢

Jea*_*art 36

如果他们有相同的架构,只需使用unionspark 2+:

val dfUnion = df1.union(df2)
Run Code Online (Sandbox Code Playgroud)

或者unionAll火花1+:

val dfUnion = df1.unionAll(df2)
Run Code Online (Sandbox Code Playgroud)

  • 由于Spark 2.0`unionAll()`被标记为`deprecated`(@deprecated("use union()","2.0.0")) - 我相应地改变了你的答案. (3认同)
  • 问题似乎是谈论连接("添加到另一个的底部"),并且仅供未来的搜索者使用:"union"与连接不同.它不会对组合数据进行订单保证. (3认同)