Scala Spark：（org.apache.spark.repl.ExecutorClassLoader）无法检查 REPL 类服务器上路径上的类 org 是否存在

Question

Spark 笔记本安装后运行基本 df.show()

在 Spark-notebook 上运行 scala - Spark 代码时出现以下错误。知道这种情况何时发生以及如何避免吗？

[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org.apache.spark.sql.catalyst.expressions.Object on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class

Answer 1

我在本地安装了 Spark，当我使用以下代码时，它给了我同样的错误。

spark.read.format("json").load("Downloads/test.json")

我认为问题是，它试图找到一些主节点并获取一些随机或默认IP。我指定了模式，然后提供了 IP 127.0.0.1，它解决了我的问题。

解决方案

使用本地master运行 Spark

usr/local/bin/spark-shell --master "local[4]" --conf spark.driver.host=127.0.0.1'