Windows Spark 错误 java.lang.NoClassDefFoundError：无法初始化类 org.apache.spark.storage.StorageUtils

Question

下载了最新的apache 3.2.0以及hadoop文件java Java SE Development Kit 17.0.1也安装了

我什至无法初始化

输入 ：

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.sql('''select 'spark' as hello ''')
df.show()

输出＃

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.storage.StorageUtils$
at org.apache.spark.storage.BlockManagerMasterEndpoint.<init>(BlockManagerMasterEndpoint.scala:110)
at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:348)
at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:287)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:336)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:191)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:277)

Answer 1

您可以在https://spark.apache.org/docs/3.2.0/阅读：

Spark 3.2.0仅支持Java版本8-11。我在 Linux 上遇到了同样的问题，切换到 Java 11 而不是 17 对我的情况有所帮助。

顺便说一句，Spark 3.3.0 支持 Java 17。