无法在Windows中启动Spark的master

Question

同样的问题如无法在Windows 10中启动主要的火花也未解决.

通过测试pyspark.cmd和spark-shell.cmd,我的火花效果很好

跑完后.\sbin\start-master.sh我得到了:

ps: unknown option -- o
Try 'ps --help' for more information.
starting org.apache.spark.deploy.master.Master, logging to C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out
ps: unknown option -- o
Try 'ps --help' for more information.
failed to launch org.apache.spark.deploy.master.Master:
  ========================================
  Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M
full log in C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out

我试图访问Web UI,而localhost:4040正在使用localhost:8080无法访问.

我发现在%SPARK_HOME%/ logs文件夹中创建了.log文件.它们包含相同的内容:

Spark命令:

C:\Program Files\Java\jdk1.7.0_79\bin\java -cp C:\spark-1.6.1-bin-hadoop2.6/conf\;C:\spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip hahaha-PC --port 7077 --webui-port 8080

========================================
Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M

工作环境:Spark:1.6.1 Windows 10

期待您的回复,并感谢您的时间!

Answer 1

位于的启动脚本%SPARK_HOME%\sbin不支持Windows.您需要手动运行master和worker,如下所述.

1. %SPARK_HOME%\bin在命令提示符中转到文件夹

2. 运行spark-class org.apache.spark.deploy.master.Master以运行主服务器.这将为您提供表单的URLspark://ip:port

3. 运行spark-class org.apache.spark.deploy.worker.Worker spark://ip:port以运行该工作程序.确保使用在步骤2中获得的URL.

4. 运行spark-shell --master spark://ip:port以将应用程序连接到新创建的集群.

Answer 2

如果您希望启动主工作程序和从属程序，这应该为您工作。这个对我有用

1. 要启动主工作者，请在spark / bin目录中打开Windows命令提示符，然后复制并粘贴此命令，然后按Enter

火花类org.apache.spark.deploy.master.Master

您需要将浏览器指向http：// localhost：8080 /。如果收到错误消息“找不到服务器”，则刷新页面。从此页面，您将获得唯一的URL。看起来像这样的URL：spark：//192.xxx.xx.xxx：7077

2. 打开一个新终端，然后转到％SPARK_HOME％/ bin，复制并粘贴此行代码，然后按Enter。

spark类org.apache.spark.deploy.worker.Worker spark：// ip：port

这部分

spark：// ip：端口

是从步骤1获得的URL。刷新在第一步中打开的浏览器选项卡，以查看工作进程是否已启动。

注意：不支持JDK 1.9

Answer 3

刚刚找到答案:https://spark.apache.org/docs/1.2.0/spark-standalone.html

"注意:启动脚本目前不支持Windows.要在Windows上运行Spark集群,请手动启动master和worker."