如何从pyspark设置hadoop配置值

Question

SparkContext的Scala版本具有该属性

sc.hadoopConfiguration

我已成功使用它来设置Hadoop属性(在Scala中)

例如

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")

然而,SparkContext的python版本缺少该访问器.有没有办法将Hadoop配置值设置为PySpark上下文使用的Hadoop配置？

Answer 1

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal')

应该管用

Answer 2

您可以--conf在提交作业时使用该参数设置任何 Hadoop 属性。

--conf "spark.hadoop.fs.mapr.trace=debug"

来源：https : //github.com/apache/spark/blob/branch-1.6/core/src/main/scala/org/apache/spark/deploy/SparkHadoopUtil.scala#L105