火花工人没有连接到主人

Question

我想创建一个spark独立集群.我能够在同一节点上运行主服务器和从服务器,但是不同节点上的从服务器既不显示主URL也不连接到主服务器.

我正在运行命令:

start-slave.sh spark://spark-server:7077

spark-server我的主人的主机名在哪里.

我能够从worker ping master,但master的WebUI除了在同一台机器上运行外没有显示任何worker.客户机节点正在运行工作程序,但它是独立的并且未连接到主服务器.

Answer 1

请检查主节点上的配置文件" spark-env.sh ".您是否将SPARK_MASTER_HOST变量设置为主节点的IP地址？如果不尝试设置它并重新启动主站和从站.例如,如果主节点的IP是192.168.0.1,那么您应该有SPARK_MASTER_HOST = 192.168.0.1.请注意,您不需要在从属设置上设置此变量.