当shuffle分区大于200时会发生什么（dataframe中的spark.sql.shuffle.partitions 200（默认））

Question

打乱数据的spark sql聚合操作，即spark.sql.shuffle.partitions 200（默认情况下）。当 shuffle 分区大于 200 时，性能会发生什么变化。

当分区数量大于 2000 时，Spark 使用不同的数据结构进行随机簿记。因此，如果分区数量接近 2000，则将其增加到 2000 以上。

但我的问题是，当 shuffle 分区大于 200（假设为 300）时，会发生什么行为。

Answer 1

根据为作业分配足够资源的相对较大集群上的典型工作负载，选择数字 200 作为默认值。否则，应根据 2 个因素选择此数字 - 可用核心数量和分区大小（建议将分区保持在接近 100Mb）。选定的分区数量应该是可用核心数量的倍数，但不应该很大（通常是核心数量的 1-3 倍）。如果分区数量大于默认值，则不应更改 Spark 的行为 - 它只会增加 Spark 需要执行的任务数量。

您可以观看Spark + AI Summit 2019 的演讲- 它涵盖了 Spark 程序优化的许多细节，包括分区数量的选择。