小编Kwa*_*LEE的帖子

如何更改SparkContext.sparkUser()设置(在pyspark中)?

我是新人Sparkpyspark.
我使用pyspark,在rdd处理之后,我试图将它保存到hdfs使用该saveAsTextfile()功能.但是我得到了一个" 权限被拒绝 "的错误消息,因为pyspark尝试hdfs 使用我的本地帐户"kjlee" 来编写,这在hdfs系统上是不存在的.

我可以通过检查spark用户名SparkContext().sparkUser(),但我找不到如何更改spark用户名.

如何更改spark用户名?

apache-spark pyspark

6
推荐指数
2
解决办法
7054
查看次数

标签 统计

apache-spark ×1

pyspark ×1