相关疑难解决方法(0)

我想创建一个spark独立集群.我能够在同一节点上运行主服务器和从服务器,但是不同节点上的从服务器既不显示主URL也不连接到主服务器.

我正在运行命令:

start-slave.sh spark://spark-server:7077

spark-server我的主人的主机名在哪里.

我能够从worker ping master,但master的WebUI除了在同一台机器上运行外没有显示任何worker.客户机节点正在运行工作程序,但它是独立的并且未连接到主服务器.

我有一个在Amazon EC2上运行的Spark Master。我尝试从另一个ec2实例中使用pyspark连接到它，如下所示：

spark = SparkSession.builder.appName("MyApp") \
                            .master("spark_url_as_obtained_in_web_ui") \
                            .getOrCreate()

以下是错误：

要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，请使用setLogLevel（newLevel）。

2018-04-04 20:03:04 WARN Utils：66-服务'sparkDriver'无法在随机的免费端口上绑定。您可以检查是否配置了适当的绑定地址。

............

java.net.BindException：无法分配请求的地址：16次重试（在随机的空闲端口上）后，服务“ sparkDriver”失败！考虑将服务“ sparkDriver”的适当绑定地址（例如SparkDriver的spark.driver.bindAddress）显式设置为正确的绑定地址。

我尝试了此处描述的所有解决方案，但无济于事：

1. 连接到远程Spark主站-Java / Scala

2. 所有的主人都反应迟钝！？Spark Master没有响应datastax体系结构

3. Spark独立群集-从站未连接到主站

4. Spark主机：7077无法访问

5. 火花提交“服务'驱动程序'无法在端口上绑定”错误

6. https://community.hortonworks.com/questions/8257/how-can-i-resolve-it.html

怎么可能出问题了？