启动单个Spark Slave(或Worker)

Question

当我这样做

spark-1.3.0-bin-hadoop2.4% sbin/start-slave.sh

我收到这条消息

failed to launch org.apache.spark.deploy.worker.Worker:
                         Default is conf/spark-defaults.conf.

即使我有这个:

spark-1.3.0-bin-hadoop2.4% ll conf | grep spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix  507 Apr 29 07:09 spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix  507 Apr 13 12:06 spark-defaults.conf.template

知道为什么吗？

谢谢

Answer 1

我正在使用spark 1.6.1,您不再需要指示工号,因此实际使用情况为:

start-slave.sh spark://<master>:<port>

Answer 2

首先，您应该确保正确使用命令，

Usage: start-slave.sh <worker#> <spark-master-URL>

<worker#>您要在运行此脚本的机器上启动的工人编号在哪里。
<spark-master-URL>就好像spark://localhost:7077