相关疑难解决方法(0)

如何从pyspark设置hadoop配置值

SparkContext的Scala版本具有该属性

sc.hadoopConfiguration
Run Code Online (Sandbox Code Playgroud)

我已成功使用它来设置Hadoop属性(在Scala中)

例如

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")
Run Code Online (Sandbox Code Playgroud)

然而,SparkContext的python版本缺少该访问器.有没有办法将Hadoop配置值设置为PySpark上下文使用的Hadoop配置?

scala apache-spark pyspark

32
推荐指数
2
解决办法
2万
查看次数

标签 统计

apache-spark ×1

pyspark ×1

scala ×1