相关疑难解决方法(0)

线程“main”中的异常 java.lang.IllegalAccessError:类 org.apache.spark.storage.StorageUtils$

您好,我尝试在本地笔记本电脑上运行 Spark。我在 intelijidea 中创建了一个 mvn 项目,在我的主类中我有一行如下所示,当我尝试运行一个项目时,我收到如下错误

 val spark = SparkSession.builder().master("local").getOrCreate()
Run Code Online (Sandbox Code Playgroud)

21/11/02 18:02:35 INFO BlockManagerMasterEndpoint:BlockManagerMasterEndpoint up 线程“main”中出现异常 java.lang.IllegalAccessError:类 org.apache.spark.storage.StorageUtils$ (在未命名模块 @0x34e9fd99 中)无法访问类 sun。 nio.ch.DirectBuffer(在模块 java.base 中),因为模块 java.base 不会将 sun.nio.ch 导出到 org.apache.spark.storage.StorageUtils$.(StorageUtils.scala:213) 处的未命名模块 @0x34e9fd99 org.apache.spark.storage.BlockManagerMasterEndpoint.(BlockManagerMasterEndpoint.scala:110) 在 org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:348) 在 org.apache.spark.SparkEnv$.registerOrLookupEndpoint $1(SparkEnv.scala:287) 在 org.apache.spark.SparkEnv$.create(SparkEnv.scala:336) 在 org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:191) 在 org.apache.spark .SparkContext.createSparkEnv(SparkContext.scala:27​​7) 在 org.apache.spark.SparkContext.(SparkContext.scala:460) 在 org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2690) 在 org.apache.在 org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession. scala:943) 在 Main$.main(Main.scala:8) 在 Main.main(Main.scala)

我对 pom 的依赖

 <dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.13</artifactId>
    <version>3.2.0</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.13</artifactId>
    <version>3.2.0</version>

</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive --> …
Run Code Online (Sandbox Code Playgroud)

scala apache-spark sparkcore apache-spark-sql

15
推荐指数
1
解决办法
2万
查看次数

为什么spark-shell因"错误:未找到:值火花"而失败?

我使用Spark 2.1.0.

当我跑spark-shell,我遇到这个错误:

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^
Run Code Online (Sandbox Code Playgroud)

可能是什么原因?怎么解决?

apache-spark apache-spark-sql

14
推荐指数
2
解决办法
2万
查看次数

标签 统计

apache-spark ×2

apache-spark-sql ×2

scala ×1

sparkcore ×1