AWS EMR 中的最小 PySpark 无法创建火花上下文

Question

我正在尝试在新的 AWS EMR Spark 集群中使用 PySpark，但失败并出现以下错误：

py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
    at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:55)
    at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.createTimelineClient(YarnClientImpl.java:181)
    at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:168)
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:151)
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
    at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:164)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:238)
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 20 more

我在做什么：

1. 在 EMR 控制台上，创建一个新集群（emr-5.12.1使用 Spark m4.large、2 个实例）
2. SSH 其主人

3. virtualenv使用 Python 3创建一个新的，安装pyspark并创建一个上下文：

   export PROJECT=example
   python3 -m venv ~/.virtualenvs/$PROJECT
   source ~/.virtualenvs/$PROJECT/bin/activate
   pip install pyspark
   export PYSPARK_PYTHON=/home/hadoop/.virtualenvs/$PROJECT/bin/python
   export YARN_CONF_DIR=/etc/hadoop/conf
   python -c "import pyspark; conf = pyspark.SparkConf().setMaster('yarn-client').setAppName('testing'); sc = pyspark.SparkContext(conf=conf)"
   

这引发了上述异常。

我也尝试过：

1. 改用 Python 2 ( virtualenv ~/.virtualenvs/$PROJECT)
2. 使用默认的 Python 安装，不创建任何 virtualenv。

该异常与Spark 中的此问题密切相关，但这是由旧的 Hadoop 版本 (2.6, 2.7) 引起的，在emr-5.12.1使用 Hadoop 2.8的配置中并非如此。

我在 Google Platform 中复制了相同的设置，并且可以正常工作。

请注意，如果我pyspark从 shell调用，它将起作用。但是，主人将被设置local：

 pyspark
 >>> sc
 <SparkContext master=local[*] appName=PySparkShell>

这对于分布式作业是无用的。

Answer 1

解决方案是也导出SPARK_HOME. 即在第 3 步，使用

export SPARK_HOME=/usr/lib/spark/
export PYSPARK_PYTHON=/home/hadoop/.virtualenvs/$PROJECT/bin/python
export YARN_CONF_DIR=/etc/hadoop/conf
python -c "import pyspark; conf = pyspark.SparkConf().setMaster('yarn-client').setAppName('testing'); sc = pyspark.SparkContext(conf=conf)"

这解决了 Python 2 和 3 中的问题。