Wordcount程序卡在hadoop-2.3.0中

Question

我安装了hadoop-2.3.0并尝试运行wordcount示例但是它启动了工作并处于空闲状态

hadoop@ubuntu:~$ $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar    wordcount /myprg outputfile1
14/04/30 13:20:40 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
14/04/30 13:20:51 INFO input.FileInputFormat: Total input paths to process : 1
14/04/30 13:20:53 INFO mapreduce.JobSubmitter: number of splits:1
14/04/30 13:21:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1398885280814_0004
14/04/30 13:21:07 INFO impl.YarnClientImpl: Submitted application application_1398885280814_0004
14/04/30 13:21:09 INFO mapreduce.Job: The url to track the job: http://ubuntu:8088/proxy/application_1398885280814_0004/
14/04/30 13:21:09 INFO mapreduce.Job: Running job: job_1398885280814_0004

跟踪工作的网址:application_1398885280814_0004 /

对于以前的版本,我没有遇到这样的问题.我能够在以前的版本中运行hadoop wordcount.我按照这些步骤安装hadoop-2.3.0

请建议.

Answer 1

切换到YARN时,我有一段时间完全相同的情况.基本上有task slotsMRv1和containersMRv2中的概念.这两者在如何在节点上调度和运行任务方面存在很大差异.

你的工作被困的原因是它无法找到/开始工作container.如果你进入Resource Manager/Application Masteretc守护进程的完整日志,你可能会发现它在开始分配新容器后什么也没做.

要解决此问题,您必须在yarn-site.xml和中调整内存设置mapred-site.xml.在自己做同样的事情时,我发现这个和本教程特别有帮助.我建议你尝试使用非常基本的内存设置并在以后优化它们.首先检查单词计数示例然后继续其他复杂的计数.

Answer 2

我遇到了同样的问题。我将以下属性添加到我的 yarn-site.xml 并解决了这个问题。

 <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Hostname-of-your-RM</value>
        <description>The hostname of the RM.</description>
    </property>

如果没有资源管理器主机名，多节点设置就会出错，因为每个节点将默认尝试查找本地资源管理器，并且永远不会向主节点宣布其资源。所以你的 Map Reduce 执行请求可能没有找到任何可以运行的映射器，因为请求被发送到主服务器，而主服务器不知道从插槽。

参考：http : //www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/