在数据帧中使用dropDuplicates会导致分区号发生更改

Question

我有一个大型数据框,我用800分区创建.

df.rdd.getNumPartitions()
800

当我在数据帧上使用dropDuplicates时,它会将分区更改为默认值200

df = df.dropDuplicates()
df.rdd.getNumPartitions()
200

这种行为会给我带来麻烦,因为它会导致内存不足.

你对修复这个问题有什么建议吗？我尝试将spark.sql.shuffle.partition设置为800,但它不起作用.谢谢

Answer 1

发生这种情况是因为dropDuplicates需要随机播放.如果要获取应设置的特定数量的分区spark.sql.shuffle.partitions(其默认值为200)

df = sc.parallelize([("a", 1)]).toDF()
df.rdd.getNumPartitions()
## 8

df.dropDuplicates().rdd.getNumPartitions()
## 200

sqlContext.setConf("spark.sql.shuffle.partitions", "800")

df.dropDuplicates().rdd.getNumPartitions()
## 800

另一种方法(Spark 1.6+)首先要重新分配:

df.repartition(801, *df.columns).dropDuplicates().rdd.getNumPartitions()
## 801

它稍微灵活但效率较低,因为它不执行本地聚合.