如何在YARN中增加nodemanager中的容器数量

Question

我的YARN群集中的节点具有64GB内存和24个内核.我在yarn-site.xml中设置了以下属性:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

但我发现节点中的nodemanager仍然只有7个容器.我需要设置的其他属性是什么？

Answer 1

您需要告诉YARN如何将内存分解为容器,例如,如果您将每个容器的内存设置为2GB将为您提供16个容器

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>