相关疑难解决方法(0)

我有一个在Amazon EC2上运行的Spark Master。我尝试从另一个ec2实例中使用pyspark连接到它，如下所示：

spark = SparkSession.builder.appName("MyApp") \
                            .master("spark_url_as_obtained_in_web_ui") \
                            .getOrCreate()

以下是错误：

要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，请使用setLogLevel（newLevel）。

2018-04-04 20:03:04 WARN Utils：66-服务'sparkDriver'无法在随机的免费端口上绑定。您可以检查是否配置了适当的绑定地址。

............

java.net.BindException：无法分配请求的地址：16次重试（在随机的空闲端口上）后，服务“ sparkDriver”失败！考虑将服务“ sparkDriver”的适当绑定地址（例如SparkDriver的spark.driver.bindAddress）显式设置为正确的绑定地址。

我尝试了此处描述的所有解决方案，但无济于事：

1. 连接到远程Spark主站-Java / Scala

2. 所有的主人都反应迟钝！？Spark Master没有响应datastax体系结构

3. Spark独立群集-从站未连接到主站

4. Spark主机：7077无法访问

5. 火花提交“服务'驱动程序'无法在端口上绑定”错误

6. https://community.hortonworks.com/questions/8257/how-can-i-resolve-it.html

怎么可能出问题了？

我有3个节点火花簇

node1,node2和node3

我在节点1上运行以下命令来部署驱动程序

/usr/local/spark-1.2.1-bin-hadoop2.4/bin/ spark-submit--class com.fst.firststep.aggregator.FirstStepMessageProcessor --master spark://ec2-xx-xx-xx-xx.compute- 1.amazonaws.com:7077 - 部署模式集群--supervise文件:///home/xyz/sparkstreaming-0.0.1-SNAPSHOT.jar /home/xyz/config.properties

驱动程序在集群中的节点2上启动.但是在节点2上获得它试图绑定到节点1 ip的异常.

2015-02-26 08:47:32 DEBUG AkkaUtils:63 - In createActorSystem, requireCookie is: off 
2015-02-26 08:47:32 INFO  Slf4jLogger:80 - Slf4jLogger started 
2015-02-26 08:47:33 ERROR NettyTransport:65 - failed to bind to ec2-xx.xx.xx.xx.compute-1.amazonaws.com/xx.xx.xx.xx:0, shutting down Netty transport 
2015-02-26 08:47:33 WARN  Utils:71 - Service 'Driver' could not bind on port 0. Attempting port 1. 
2015-02-26 08:47:33 DEBUG AkkaUtils:63 - In createActorSystem, requireCookie is: off 
2015-02-26 08:47:33 ERROR Remoting:65 - Remoting error: [Startup …