我是新人Spark和pyspark. 我使用pyspark,在rdd处理之后,我试图将它保存到hdfs使用该saveAsTextfile()功能.但是我得到了一个" 权限被拒绝 "的错误消息,因为pyspark尝试hdfs 使用我的本地帐户"kjlee" 来编写,这在hdfs系统上是不存在的.
Spark
pyspark
rdd
hdfs
saveAsTextfile()
我可以通过检查spark用户名SparkContext().sparkUser(),但我找不到如何更改spark用户名.
SparkContext().sparkUser()
如何更改spark用户名?
apache-spark pyspark
apache-spark ×1
pyspark ×1