在 spark 中，参数“minPartitions”在 SparkContext.textFile(path, minPartitions) 中有什么作用？

Question

在 Spark 中，无论是 SparkContext 还是 JavaSparkContext，调用 sc.textFile 时都有一个参数是 minPartitions。这个参数是什么意思？

Answer 1

minPartitions将传递给 Hadoop 的InputFormat.getSplits. 该参数是一个提示，因此您可能会获得更多或更少的分区，具体取决于 HadoopInputFormat实现。