Spark Standalone Cluster - Slave未连接到Master

Question

我正在尝试按照官方文档设置Spark独立集群.

我的主人在运行ubuntu的本地虚拟机上,我也有一个工作人员在同一台机器上运行.它正在连接,我能够在主服务器的WebUI中看到它的状态.

这是WebUi图像 -

但是当我尝试从另一台机器连接一个奴隶时,我无法做到.

当我从另一台机器启动时,这是我在工作人员中获得的日志消息.我尝试start-slaves.sh在更新conf\slaves后也start-slave.sh spark://spark:7077从slave中使用master .

[主人主人 - 火花; 工人hostanme - 工人]

15/07/01 11:54:16 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkMaster@spark:7077] has failed, address is now gated for [5000] ms. Reason is: [Association failed with [akka.tcp://sparkMaster@spark:7077]].
15/07/01 11:54:59 ERROR Worker: All masters are unresponsive! Giving up.
15/07/01 11:54:59 INFO Utils: Shutdown hook called

当我尝试从奴隶到主人的telnet时,这就是我得到的 -

root@worker:~# telnet spark 7077
Trying 10.xx.xx.xx...
Connected to spark.
Escape character is '^]'.
Connection closed by foreign host.

Telnet似乎可以工作,但连接一旦建立就关闭.这可能与问题有关吗？

我在两台机器上的/ etc/hosts中添加了主从IP地址.我遵循SPARK + Standalone Cluster提供的所有解决方案:无法从另一台机器启动工作人员, 但他们没有为我工作.

我在两台机器的spark-env.sh中设置了以下配置 -

导出SPARK_MASTER_IP = spark

export SPARK_WORKER_PORT = 44444

任何帮助是极大的赞赏.

Answer 1

我遇到了与你完全相同的问题,只是弄清楚如何让它发挥作用.

问题是你的spark master正在监听你的示例spark中的 hostname,这会导致同一主机上的worker能够成功注册,但是从另一台带命令的机器上失败了start-slave.sh spark://spark:7077.

解决的办法是,以确保值SPARK_MASTER_IP在文件中使用IP指定的conf/spark-env.sh

    SPARK_MASTER_IP=<your host ip>

在主节点上,正常启动spark master.您可以打开Web GUI以确保您的spark master 在启动后显示为spark:// YOUR_HOST_IP:7077.然后,在另一台带命令的机器上start-slave.sh spark://<your host ip>:7077 应该启动并注册worker成功完成.

希望它会对你有所帮助

Answer 2

它取决于你的火花版本,它需要不同的配置.如果您的火花版本1.6添加此行,conf/spark-env.sh以便另一台机器可以连接到主

SPARK_MASTER_IP = your_host_ip

如果您的火花版本是2.x,请将这些行添加到您的 conf/spark-env.sh

SPARK_MASTER_HOST = your_host_ip

SPARK_LOCAL_IP = your_host_ip

添加这些行后运行spark:

./sbin/spark-all.sh

如果你做得对,你可以看到<your_host_ip>:8080火花主网址是:spark://<your_host_ip>:7077

BeCarefule your_host_ip,不应该localhost,而且必须完全Your host ip是你设置的conf/spark-env.sh

毕竟你可以使用下面的命令将另一台机器连接到主机:

./sbin/start-slave.sh spark:// your_host_ip:7077