Pyspark 中的范围分区

Question

假设我有一个包含 1,000,000 个 ID 的数据集。我将如何按范围对 100 个分区进行分区。我在 Scala 中看到了 RangePartitioner 类，但它似乎在 PySpark API 中不可用。

我有一个非常大的数据集，目前正在按唯一 ID 进行分区，但这会创建太多分区。我想知道 PySpark 中范围分区的最佳实践

df.write.partitionBy('unique_id').mode('overwrite').csv(file://test/)

这会将每个 id 放在自己的分区中。

我似乎在 PySpark 中找不到任何关于范围分区的文档。

Answer 1

对于 pyspark 2.4 及以上版本，您可以使用pyspark.sql.DataFrame.repartitionByRange：

df.repartitionByRange(100, 'unique_id').write.mode('overwrite').csv('file:://test/')