Mar*_*nne 4 scala apache-spark apache-spark-sql
将包含列(例如“a”、“b”)的数据帧保存为 parquet,然后在稍后的时间点读取 parquet 不会提供与文件相同的列顺序(可能是“b”、“a” fe)保存与.
不幸的是,我无法弄清楚订单是如何受到影响的以及我如何控制它。
在镶木地板中阅读时如何保持原始列顺序?
dpe*_*ock 6
PARQUET-188建议列排序不是 parquet 规范的一部分,因此依赖排序可能不是一个好主意。但是,您可以自己管理它,例如通过按字典顺序加载/保存数据框列,或者通过存储列名称。
归档时间:
10 年,4 月 前
查看次数:
7016 次
最近记录:
2 年,3 月 前