小编jsi*_*h13的帖子

我在Openbuack上创建了一个Spark集群,在Ubuntu14.04上运行,内存为8GB.我创建了两个虚拟机,每个虚拟机3GB(为父操作系统保留2 GB).此外,我从第一台虚拟机和第二台机器的3名工人创建了一个主人和两名工人.

spark-env.sh文件具有基本设置

export SPARK_MASTER_IP=10.0.0.30
export SPARK_WORKER_INSTANCES=2
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1

每当我与部署的start-all.sh集群,我得到"无法启动org.apache.spark.deploy.worker.Worker",有的时候"未能推出org.apache.spark.deploy.master.Master".当我看到日志文件以查找错误时,我得到以下内容

星火命令:/ usr/lib中/ JVM/Java的7-的OpenJDK,AMD64 /斌/ java命令> /home/ubuntu/spark-1.5.1/sbin /../的conf /:/首页/ Ubuntu的/火花> 1.5.1 /组件/目标/阶-2.10 /火花组件-1.5.1-> hadoop2.2.0.jar:/home/ubuntu/spark-1.5.1/lib_managed/jars/datanucleus-api-> jdo- 3.2.6.jar:/home/ubuntu/spark-1.5.1/lib_managed/jars/datanucleus-core-> 3.2.10.jar:/home/ubuntu/spark-1.5.1/lib_managed/jars/datanucleus-rdbms - > 3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize参数=256米> org.apache.spark.deploy.master.Master --ip 10.0.0.30 --port 7077 --webui->端口8080

虽然我得到了失败的消息,但主人或工人在几秒钟后就活了起来.

有人可以解释原因吗？

我创建了一个带有1个Master和2个Slave的hadoop集群.我在*-site.xml文件中以最低规格运行它.

核心的site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.0.0.51:9000</value>
    </property>
</configuration>

hfds-site.xml中

<configuration>
    <property>
        <name>dfs.datanode.name.dir</name>
        <value>~/DNfiles</value>
    </property>
</configuration>

mapred-site.xml中

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

纱的site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.0.0.51:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.0.0.51:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.0.0.51:8050</value>
    </property>
</configuration>

问题是我能够格式化namenode,将文件放入hfs和所有但是当我运行一个简单的例子时,我得到以下错误.

Container launch failed for container_1455133326738_0002_02_000007 : java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop-slave-2 at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:377)
    at org.apache.hadoop.security.SecurityUtil.setTokenService(SecurityUtil.java:356)
    at org.apache.hadoop.yarn.util.ConverterUtils.convertFromYarn(ConverterUtils.java:238)
at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.newProxy(ContainerManagementProtocolProxy.java:266)
 at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.<init>(ContainerManagementProtocolProxy.java:244)
    at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy.getProxy(ContainerManagementProtocolProxy.java:129)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl.getCMProxy(ContainerLauncherImpl.java:409)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:138)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) …

我在Ubuntu 14.04上通过devstack安装了openstack.我的计算机上有8 GB的ram,我已经创建了大约8个VM,我没有同时使用,因为我使用不同的VM.现在我无法再创建VM了.我收到一条错误消息

找不到有效主机.没有足够的主机可用.

有人可以建议我该怎么办？