Spark.executor.allowSparkContext 的用例

Question

我正在研究spark-core，发现了一个未记录的配置，即spark.executor.allowSparkContext自3.0.1 起可用。我无法在 Spark 官方文档中找到详细信息。在代码中，有对此配置的简短描述

如果设置为 true，则可以在执行器中创建 SparkContext。

但我想知道，如何SparkContext在执行器中创建？据我所知，SparkContext是在驱动程序上创建的，执行程序是由资源管理器分配的。所以SparkContext总是在执行者之前创建。此配置的用例是什么？

Answer 1

我建议的文档和/或实现中存在错误。

如果您（像您一样）了解 Spark 架构，那么整个概念就没有意义。对此尚未发布任何其他公告。

从其他答案和这方面的大量错误文档来看，很明显出了问题。