主节点在 Spark 独立集群中的角色

Question

在 Spark 独立集群中，master（以 start_master.sh 脚本开始的节点）的角色究竟是什么？

我知道这是从 submit-job.sh 脚本接收作业的节点，但它在处理作业时的作用是什么？

我在 Web UI 中看到，它总是将作业交付给从站（以 start_slave.sh 开头的节点）并且不参与处理，对吗？在这种情况下，我是否还应该在与 master 相同的机器上运行脚本 start_slave.sh 以利用其资源（cpu 和内存）？

提前致谢。

Answer 1

Spark运行在以下集群模式下：

• 当地的
• 独立式
• 梅索斯
• 纱

以上是为Spark应用程序提供资源的集群模式

Spark独立模式是主从架构，我们有Spark Master和Spark Workers。Spark Master 运行在集群节点之一，Spark Workers 运行在集群的 Slave 节点上。

Spark Master（通常编写为独立 Master）是 Spark Standalone 集群的资源管理器，用于在 Spark 应用程序之间分配资源（CPU、内存、磁盘等）。这些资源用于运行 Spark Driver 和 Executors。

Spark Workers向Spark Master报告Slave节点上的资源信息。

[阿帕奇火花]