pao*_*lov 4 hadoop hadoop-yarn
在纱线大数据集群中运行作业时，我多次听说过“AM 限制”这个术语。
这里也提到了： https ://issues.apache.org/jira/browse/YARN-6428
这是什么意思？
这是一个确保您不会活锁集群的设置。Map-Reduce 作业有一个 AM，它会生成映射器和缩减器。如果您的队列只有 AM 任务，那么您无法运行任何映射器或化简器，这意味着您的 AM 都不会完成，并且您无法执行任何有意义的工作。您处于活锁场景中。
容量调度程序和公平调度程序都有一种方法来限制 AM 可以持有的任务百分比。在容量调度程序中查找yarn.scheduler.capacity.maximum-am-resource-percent. 在 Fair Scheduler 中查找maxAMShare.
| 归档时间： |
|
| 查看次数： |
1855 次 |
| 最近记录： |