Amazon EMR-如何限制Spark任务执行程序仅在任务节点中启动而不在核心节点中启动

Kan*_*nan 5 amazon-web-services emr apache-spark

我们正在将Amazon EMR用于包含Spark作业的oozie工作流程。在我们的集群中,我们有1个主节点,2个核心节点,并使用第三方工具将Task节点用作竞价型实例。

根据纱线内存使用情况为任务节点设置自动缩放。我们已经配置为仅在核心节点中启动Application Master,因为任务节点是可以随时关闭的竞价型实例。

现在的问题是,有时运行的作业会完全占用核心节点的内存(AM +任务执行程序),这会使其他作业处于接受状态,等待核心节点释放以启动AM。

我想知道是否可以仅限制AM在Core节点中启动,而在任务节点中执行任务执行器。这样,我们将能够并行运行多个作业。