Kan*_*nan 5 amazon-web-services emr apache-spark
我们正在将Amazon EMR用于包含Spark作业的oozie工作流程。在我们的集群中,我们有1个主节点,2个核心节点,并使用第三方工具将Task节点用作竞价型实例。
根据纱线内存使用情况为任务节点设置自动缩放。我们已经配置为仅在核心节点中启动Application Master,因为任务节点是可以随时关闭的竞价型实例。
现在的问题是,有时运行的作业会完全占用核心节点的内存(AM +任务执行程序),这会使其他作业处于接受状态,等待核心节点释放以启动AM。
我想知道是否可以仅限制AM在Core节点中启动,而在任务节点中执行任务执行器。这样,我们将能够并行运行多个作业。
| 归档时间: |
|
| 查看次数: |
224 次 |
| 最近记录: |