SparkContext setLocalProperties

Question

作为这个问题的延续,你能否告诉我我可以改变哪些属性SparkContext.setLocalProperties？我可以改变核心,RAM等吗？

Answer 1

根据文档描述，a 的属性localProperties是您可以创建逻辑作业组的属性。另一方面，它们是线程局部变量。这意味着当变量中维护的每线程属性必须自动传输到创建的任何子线程时，它们优先于普通线程局部变量使用。当请求运行或提交一个 Spark 作业，该作业又将它们传递到.protected[spark]SparkContextInheritableSparkContextDAGScheduler

通常Local properties用于通过spark.scheduler.pool每线程属性和SQLExecution.withNewExecutionIdset方法将作业分组到 FAIR 作业调度程序中的池中spark.sql.execution.id。

我没有在独立 Spark 集群中分配线程本地属性的经验。值得尝试和检查。