我在一组集群上安装了spark standalone.我尝试通过集群启动脚本启动集群.我已将群集的IP地址添加到conf/slaves文件中.主设备通过无密码ssh连接到所有从设备.运行./bin/start-slaves.sh脚本后,我收到以下消息:
启动org.apache.spark.deploy.worker.Worker,登录到/root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1 -jbosstest2.out
但是master(localhost:8080)的webUI没有显示有关worker的任何信息.但是当我将localhost条目添加到我的conf/slaves文件时,会显示localhost的worker信息.
没有错误消息,终端上的消息表明工作人员已启动,但WebUI未显示任何工作人员.
小智 7
我有同样的问题.当我无法telnet master:来自奴隶的端口时,我注意到了.在我的etc/hosts文件中(在master上)我有一个127.0.0.1主条目(在我的192.168.0.x主文件之前).当我从etc/hosts文件中删除127.0.0.1条目时,我可以telnet,当我start-slaves.sh(来自master)我的奴隶连接
小智 2
当您运行集群时，检查$jps工作节点中的命令是否正确启动，并使用工作节点的 PID 在日志中检查它。
或者
设置以下内容：运行集群并检查端口是否与您配置的端口一致
export SPARK_MASTER_WEBUI_PORT=5050
export SPARK_WORKER_WEBUI_PORT=4040
| 归档时间： |
|
| 查看次数： |
11038 次 |
| 最近记录： |