SparkContext的Scala版本具有该属性
sc.hadoopConfiguration
Run Code Online (Sandbox Code Playgroud)
我已成功使用它来设置Hadoop属性(在Scala中)
例如
sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")
Run Code Online (Sandbox Code Playgroud)
然而,SparkContext的python版本缺少该访问器.有没有办法将Hadoop配置值设置为PySpark上下文使用的Hadoop配置?