找到这个问题的答案我遇到了很多麻烦.假设我写了一个数据框到镶木地板,我使用repartition结合partitionBy得到一个很好的分区镶木地板文件.见下文:
df.repartition(col("DATE")).write.partitionBy("DATE").parquet("/path/to/parquet/file")
现在稍后我想阅读镶木地板文件,所以我做了这样的事情:
val df = spark.read.parquet("/path/to/parquet/file")
数据帧是否被分区"DATE"？换句话说,如果镶木地板文件被分区,火花在将其读入火花数据帧时会保持分区.还是随机分区？
此答案的原因和原因也是有帮助的.