所有,
是否有一种优雅且可接受的方式来使用嵌套的列展平Spark SQL表(Parquet) StructType
例如
如果我的架构是:
foo
|_bar
|_baz
x
y
z
如何在不依靠手动运行的情况下将其选择为展平的表格形式
df.select("foo.bar","foo.baz","x","y","z")
换句话说,如何在a StructType和a下以编程方式获得上述代码的结果DataFrame