在YARN中，容器的大小是如何确定的？

Question

在YARN应用程序中，ApplicationMaster如何决定容器的大小？我知道有一些参数控制最小内存分配、vcores 比率等。但是 application master 如何理解它需要如此多的内存和如此多的 CPU 来完成特定的作业 - 无论是 MapReduce / Spark？

Answer 1

首先让我用一两行解释 YARN 是如何工作的，然后我们来回答问题。

因此，假设我们有 100GB 的 YARN 集群总内存和 1GB 的最小分配 mb，那么我们有 100 个最大容器。如果我们将最小分配设置为 4GB，那么我们最多有 25 个容器。

每个应用程序都会获得其要求的内存，四舍五入到下一个容器大小。因此，如果最低要求为 4GB，而您要求 4.5GB，您将获得 8GB。

如果作业/任务内存需求大于分配的容器大小，在这种情况下，它将关闭该容器。

现在回到最初的问题，YARN 应用程序主机如何决定特定作业需要多少内存和 CPU。

YARN 资源管理器 (RM) 通过逻辑队列为应用程序分配资源，其中包括内存、CPU 和磁盘资源。

默认情况下，RM 将允许最多 8192MB（“yarn.scheduler.maximum-allocation-mb”）的应用程序主 (AM) 容器分配请求。

默认最小分配为 1024MB（“yarn.scheduler.minimum-allocation-mb”）。

AM 只能向 RM 请求以 (“yarn.scheduler.minimum-allocation-mb”) 增量且不超过 (“yarn.scheduler.maximum-allocation-mb”) 的资源。

AM 负责将 ("mapreduce.map.memory.mb") 和 ("mapreduce.reduce.memory.mb") 舍入为可被 ("yarn.scheduler.minimum-allocation-mb") 整除的值。

RM 将拒绝大于 8192MB 且不能被 1024MB 整除的值的分配。

需要设置以下 YARN 和 Map-Reduce 参数来更改默认内存要求：-

对于纱线

1. 纱线.scheduler.最小分配-mb
2. 纱线.scheduler.最大分配-mb
3. 纱线.nodemanager.vmem-pmem-比率
4. 纱线.nodemanager.resource.memory.mb

对于MapReduce

1. mapreduce.map.java.opts
2. 映射减少.map.内存.mb
3. mapreduce.reduce.java.opts
4. 映射减少.减少.内存.mb

所以结论是，应用程序主机不使用任何逻辑来计算特定作业的资源（内存/CPU）需求。它只是使用上面提到的参数值。如果任何作业在给定的容器大小（包括虚拟内存）内未完成，则节点管理器只需终止该容器。