无法初始化火花上下文

Question

我正在尝试在 Python 中初始化 Spark Context 变量。

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)

但我收到以下错误：

py4j.protocol.Py4JJavaError：调用 None.org.apache.spark.api.java.JavaSparkContext 时出错。: java.lang.NoClassDefFoundError: 无法初始化类 org.apache.spark.internal.config.package$
在 org.apache.spark.SparkConf.validateSettings(SparkConf.scala:546) 在 org.apache.spark.SparkContext.(SparkContext.scala:373) 在 org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala :58) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247) 上的reflect.Constructor.newInstance(Constructor.java:423) py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) 上的py4j.Gateway.invoke(Gateway) .java:236) 在 py4j.commands。ConstructorCommand.invokeConstructor(ConstructorCommand.java:80) at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69) at py4j.GatewayConnection.run(GatewayConnection.java:214) at java.lang.Thread.run(Thread.java) :748)

我四处寻找解决方案，但没有得到确切的解决方案。请帮忙。

Answer 1

将SPARK_LOCAL_IP环境变量设置为localhost解决了我的错误。

Answer 2

请尝试将 master 称为“local[*]”，而不仅仅是“local”。