相关疑难解决方法(0)

为什么 YARN 上驱动程序和执行程序的内核数量与请求的数量不同?

我在集群模式下部署了一个 Spark 作业,如下所示

驱动程序核心 - 1
Executor cores - 2 执行程序
数量 - 2。

我的理解是这个应用程序应该占据集群中的 5 个核心(4 个执行程序核心和 1 个驱动程序核心),但我没有在 RM 和 Spark UI 中观察到这一点。

  1. 在资源管理器 UI 上,我只看到用于此应用程序的 4 个内核。
  2. 即使在 Spark UI 中(单击来自 RM 的 ApplicationMaster URL),在 executors 选项卡下,驱动程序内核也显示为零。

我错过了什么吗?

集群管理器是 YARN。

hadoop-yarn apache-spark

3
推荐指数
1
解决办法
1662
查看次数

标签 统计

apache-spark ×1

hadoop-yarn ×1