小编XIN*_*XIN的帖子

sparksession.config() 和 spark.conf.set() 有什么区别

我尝试使用两种方式来设置spark.dynamicAllocation.minExecutors,但似乎只有第一种方式有效

spark2 = SparkSession \
  .builder \
  .appName("test") \
  .config("spark.dynamicAllocation.minExecutors", 15) \
  .getOrCreate()
Run Code Online (Sandbox Code Playgroud)

对比

spark2.conf.set("spark.dynamicAllocation.minExecutors", 15)
Run Code Online (Sandbox Code Playgroud)

apache-spark pyspark

4
推荐指数
2
解决办法
2299
查看次数

标签 统计

apache-spark ×1

pyspark ×1