我尝试使用两种方式来设置spark.dynamicAllocation.minExecutors,但似乎只有第一种方式有效
spark2 = SparkSession \
.builder \
.appName("test") \
.config("spark.dynamicAllocation.minExecutors", 15) \
.getOrCreate()
Run Code Online (Sandbox Code Playgroud)
对比
spark2.conf.set("spark.dynamicAllocation.minExecutors", 15)
Run Code Online (Sandbox Code Playgroud)