我在集群模式下部署了一个 Spark 作业,如下所示
驱动程序核心 - 1
Executor cores - 2 执行程序
数量 - 2。
我的理解是这个应用程序应该占据集群中的 5 个核心(4 个执行程序核心和 1 个驱动程序核心),但我没有在 RM 和 Spark UI 中观察到这一点。
- 在资源管理器 UI 上,我只看到用于此应用程序的 4 个内核。
- 即使在 Spark UI 中(单击来自 RM 的 ApplicationMaster URL),在 executors 选项卡下,驱动程序内核也显示为零。
我错过了什么吗?
集群管理器是 YARN。