启动火花大师 windows7

Question

使用win7-64、jdk8、sparks1.6.2。我有 spark running、winutils、HADOOP_HOME 等

根据文档 注意：启动脚本当前不支持 Windows。要在 Windows 上运行 Spark 集群，请手动启动 master 和 worker。但不说怎么办？

如何在 Windows 上启动 spark master？

尝试通过 git bash 运行 sh start-master.sh ：failed to launch org.apache.spark.deploy.master.Master:即使它打印出Master --ip Sam-Toshiba --port 7077 --webui-port 8080 - 所以我不知道这一切意味着什么。但是当我尝试时spark-submit --class " " --master spark://Sam-Toshiba:7077 target/ .jar- 我得到错误：警告 AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0: 4040: java.net.BindException: Address already in use: bind java.net.BindException: Address already in use

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

也试过 spark://localhost:7077 - 同样的错误

Answer 1

在 Windows 上，您可以使用以下命令启动 Master。打开命令提示符并转到 Spark bin 文件夹并执行

spark-class.cmd org.apache.spark.deploy.master.Master

上面的命令将Master: Starting Spark master at spark://192.168.99.1:7077根据您机器的 IP 在控制台中打印。您可以在http://192.168.99.1:8080/查看 UI

如果您想在 master 启动后启动 worker，您可以使用以下命令。这将使用您机器的所有可用内核。

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

如果您想使用 4 个机器内核中的 2 个内核，请使用

spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077