如何将spark-shell连接到Mesos?

Jun*_*ck2 5 mesos apache-spark mesosphere apache-spark-sql

我正在尝试设置Apache Spark以在Mesos上运行,但是我在终端上收到以下消息:

W0309 10:37:10.570291 4017 sched.cpp:700]忽略框架注册消息,因为它是从'master@127.0.1.1:5050'而不是主要主人'master@127.0.0.1:5050'发送的

此消息一直出现在spark-shell上,我无法运行任何命令.我使用命令启动了spark-shell:

./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz
Run Code Online (Sandbox Code Playgroud)

当我检查Mesos WebUI上的Framework选项卡时,Spark Shell被列为框架.

任何想法为什么我面对上述消息,无法从spark-shell运行命令?或者,任何在Mesos上运行Spark的好参考?

Mat*_*zyk 2

我将在这里做一些问题工作,但我假设您--ip在启动时没有指定参数mesos-master.sh。在这种情况下,您应该将启动脚本更改为:

./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

我猜你的(或系统上用于该分辨率的任何文件)127.0.1.1中有一个条目,Mesos默认解析为。如果您出于某种原因愿意,可以使用该参数将其更改为。/etc/hosts127.0.1.1ip127.0.0.1