pyspark.sql.utils.IllegalArgumentException：“在 Windows 10 中实例化 'org.apache.spark.sql.hive.HiveSessionStateBuild 时出错

Question

我在 Windows 10 中安装了带有 winutils 的 spark 2.2。当我要运行 pyspark 时，我遇到了以下异常

pyspark.sql.utils.IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

我已经在 tmp/hive 文件夹中尝试过权限 777 命令。但它现在不起作用

winutils.exe chmod -R 777 C:\tmp\hive

应用此问题后，问题仍然存在。我在 Windows 10 中使用 pyspark 2.2。她是 spark-shell env

这是pyspark外壳

请帮我弄清楚谢谢

Answer 1

端口9000？！它一定与 Hadoop 相关，因为我不记得 Spark 的端口。我建议spark-shell首先使用它，这样可以消除任何额外的“跳跃”，即spark-shellSpark 本身和 Python 不需要两个运行时。

考虑到这个例外，我很确定问题在于您在某个地方有一些与 Hive 或 Hadoop 相关的配置，并且 Spark 显然使用了它。

“Caused by”似乎表明在创建 Spark SQL 时（即加载 Hive 感知子系统时）使用了 9000。

引起原因：org.apache.spark.sql.AnalysisException：java.lang.RuntimeException：java.net.ConnectException：从 DESKTOP-SDNSD47/192.168.10.143 到 0.0.0.0:9000 的调用在连接异常时失败：java.net.ConnectException ： 连接被拒绝

请检查 Windows 10 中的环境变量（可能set在命令行上使用命令）并删除任何与 Hadoop 相关的内容。