Spark Dataframe丢失分区

Question

我在阅读火花数据帧时发现了这个奇怪的问题.我将数据帧重新划分为50k分区.但是,当我在数据帧上读取并执行计数操作时,我发现当我使用spark 2.0时,底层rdd只有2143个分区.

所以我去了保存重新分区数据的路径并发现了

hfs -ls /repartitionedData/ | wc -l
50476

因此它在保存数据的同时创建了50k的分区.

但是有了火花2.0,

val d = spark.read.parquet("repartitionedData")
d.rdd.getNumPartitions
res4: Int = 2143

但是火花1.5,

val d = spark.read.parquet("repartitionedData")
d.rdd.partitions.length
res4: Int = 50474

有人可以帮我弄这个吗？

Answer 1

并不是说你丢失数据,Spark只会改变分区的数量.FileSourceStrategy将镶木地板文件组合成更少的分区,并重新排序数据.

当Spark升级到版本时,这会发生变化2.0.你可以在这里找到一个有点相关的错误报告.