小编con*_*nie的帖子

我有一个在两个实例中使用云资源的火花集群。一为主人，一为工人。总资源为4核和10G ram。我可以启动shell，并且worker可以成功注册。但是当我运行简单的代码时。

来自shell的错误是：Spark版本：2.3.0系统：CentOS v7防火墙已停止。

这是配置：

export JAVA_HOME=/usr/java/jdk1.8.0_144
export SPARK_MASTER_IP=IP
export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export SPARK_WORKER_MEMORY=2g
export SPARK_WORK_INSTANCES=1
export SPARK_WORkER_CORES=4
export SPARK_EXECUTOR_MEMORY=1g

我使用三台物理计算机使用类似的配置设置了另一个Spark集群，它们运行良好。一开始我遇到了同样的错误，但是我通过停止防火墙解决了。是的，我想在云上设置集群，但不幸的是，我遇到了相同的错误，但是没有使用相同的解决方案解决它。我很好奇这是否是端口问题，因为我只在http 80,4040,6066,7077,8080,8081,8787上打开了端口。

这是错误：

以下是日志：

主日志：

2018-04-12 13:09:14 INFO  Master:54 - Registering app Spark shell
2018-04-12 13:09:14 INFO  Master:54 - Registered app Spark shell with ID              app-20180412130914-0000
2018-04-12 13:09:14 INFO  Master:54 - Launching executor     app-20180412130914-0000/0 on worker worker-20180411144020-192.**.**.**-44986
2018-04-12 13:11:15 INFO  Master:54 - Removing executor app-20180412130914-0000/0 because it is EXITED
2018-04-12 13:11:15 INFO  Master:54 - Launching executor app-20180412130914-0000/1 on worker worker-20180411144020-192.**.**.**-44986
2018-04-12 …