YARN 中的保留内存是什么以及为什么它显示峰值？

Question

我对 YARN 中的保留内存到底是什么有疑问？我确实理解它的 YARN 平衡由提交的多个作业引起的内存需求的方式，以便没有作业进入饥饿模式。当内存被释放用于另一项工作时，它会尝试保留内存。

我们使用 AWS EMR 进行运营。我观察到，有时当在我们的集群上提交内存密集型作业（例如 Spark-sql 作业）时，我们的总 3TB RAM 中会保留 1TB RAM。即使只有一个作业在集群上提交/运行并且没有其他作业在等待或排队，我也观察到了这一点。有时会在 5-15 分钟的范围内间歇性地观察到内存峰值，然后降至可管理的水平，甚至为 0。

有人可以解释一下这是否是正常行为。如果正常的话请详细解释一下。否则，如果存在一些可能的配置错误可能会触发此问题，请帮助我解决此问题。

注意 -> 我们在 EMR 5.0.0 上有 R4 8xlarge 10 节点集群。

提前致谢

曼尼什·梅赫拉