相关疑难解决方法(0)

basedir 必须是绝对的:?/.ivy2/local

我在完全绝望的状态下写在这里......

我有 2 个用户:

  • 1 个本地用户,在 Linux 中创建。工作 100% 正常,字数工作完美。Kerberized 集群。有效票。
  • 1 个 Active Directory 用户,可以登录,但 pyspark 指令(字数相同)失败。与上述相同的 kdc 票证。

线程“main”中的异常 java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local at org.apache.ivy.util.Checks.checkAbsolute(Checks.java:48) at org.apache.ivy.plugins .repository.file.FileRepository.setBaseDir(FileRepository.java:135) 在 org.apache.ivy.plugins.repository.file.FileRepository.(FileRepository.java:44) 在 org.apache.spark.deploy.SparkSubmitUtils$.createRepoResolvers (SparkSubmit.scala:943) 在 org.apache.spark.deploy.SparkSubmitUtils$.buildIvySettings(SparkSubmit.scala:1035) 在 org.apache.spark.deploy.SparkSubmit$$anonfun$2.apply(SparkSubmit.scala:295)在 org.apache.spark.deploy.SparkSubmit$$anonfun$2.apply(SparkSubmit.scala:295) 在 scala.Option.getOrElse(Option.scala:121) 在 org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(火花提交。scala:294) 在 org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:153) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) 在 org.apache.spark .deploy.SparkSubmit.main(SparkSubmit.scala)

我正在运行的代码。超级简单。

import findspark
findspark.init()
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("yarn")
sc = SparkContext(conf=conf)
Run Code Online (Sandbox Code Playgroud)

它以上述错误的最后一条指令中的错误结束(参见异常)。

?/.ivy2/local -> 这就是问题所在,但我不知道发生了什么:(。

对于 Linux 用户,它可以完美运行......但是对于本地系统中不存在但具有 /home/userFolder 的 AD 用户......我有这个问题:(

请帮忙...我已经到了疯狂的地步...我已经搜索了互联网的每个角落,但我还没有找到解决这个问题/错误的任何方法:( …

ivy apache-spark pyspark jupyterhub

11
推荐指数
2
解决办法
5241
查看次数

标签 统计

apache-spark ×1

ivy ×1

jupyterhub ×1

pyspark ×1