相关疑难解决方法(0)

Spark unionAll多个数据帧

对于一组数据帧

val df1 = sc.parallelize(1 to 4).map(i => (i,i*10)).toDF("id","x")
val df2 = sc.parallelize(1 to 4).map(i => (i,i*100)).toDF("id","y")
val df3 = sc.parallelize(1 to 4).map(i => (i,i*1000)).toDF("id","z")
Run Code Online (Sandbox Code Playgroud)

把他们所有人联合起来

df1.unionAll(df2).unionAll(df3)
Run Code Online (Sandbox Code Playgroud)

是否有更优雅和可扩展的方式为任意数量的数据帧执行此操作,例如

Seq(df1, df2, df3) 
Run Code Online (Sandbox Code Playgroud)

scala apache-spark apache-spark-sql

24
推荐指数
2
解决办法
3万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

scala ×1