MapReduce作业陷入Accepted状态

Question

我有自己的MapReduce代码,我正在尝试运行,但它只是保持在Accepted状态.我尝试运行另一个我以前运行的样本MR作业,但是哪个成功了.但现在,这两份工作都处于接受状态.我尝试更改mapred-site.xml和yarn-site.xml中的各种属性,如此处和此处所述,但这也无济于事.有人可以指出可能出错的地方.我正在使用hadoop-2.2.0

我已经为各种属性尝试了很多值,这里有一组值 - 在mapred-site.xml中

<property>
<name>mapreduce.job.tracker</name>
<value>localhost:54311</value>
</property> 

<property>
<name>mapreduce.job.tracker.reserved.physicalmemory.mb</name>
<value></value>
</property>

<property>
<name>mapreduce.map.memory.mb</name>
<value>256</value>
</property>

<property>
<name>mapreduce.reduce.memory.mb</name>
<value>256</value>
</property>


<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>400</value>
<source>mapred-site.xml</source>
</property>

在yarn-site.xml中

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>400</value>
<source>yarn-site.xml</source>
</property>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>.3</value>
</property>

Answer 1

我有同样的效果,发现使系统每个工作节点有更多可用内存,并减少了应用程序所需的内存.

我在yarn-site.xml中的设置(在我非常小的实验框上):

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>2200</value>
  <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>500</value>
</property>

Answer 2

有同样的问题,对我来说这是一个完整的硬盘驱动器(> 90%已满)这是问题.清洁空间救了我.

Answer 3

accepted在YARN州工作的工作通常是因为免费资源是不够的.您可以在http://resourcemanager:port/cluster/scheduler以下位置查看:

1. 如果Memory Used + Memory Reserved >= Memory Total,记忆力还不够
2. 如果VCores Used + VCores Reserved >= VCores Total,VCores还不够

它也可能受到诸如的参数的限制maxAMShare.