我阅读了Cluster Mode Overview,但仍然无法理解Spark Standalone集群中的不同进程和并行性.
工作者是否是JVM进程？我跑了bin\start-slave.sh,发现它产生了工人,实际上是一个JVM.
根据上面的链接,执行程序是为运行任务的工作节点上的应用程序启动的进程.Executor也是一个JVM.
这些是我的问题:
执行者是每个应用程序.那么工人的角色是什么？它是否与执行人协调并将结果传达给司机？或者司机是否与执行人直接对话？如果是这样,那么工人的目的是什么呢？
如何控制应用程序的执行程序数量？3.可以在执行程序内并行执行任务吗？如果是这样,如何配置执行程序的线程数？
工作者,执行者和执行者核心(--total-executor-cores)之间的关系是什么？
每个节点拥有更多工人意味着什么？
更新
让我们举个例子来更好地理解.
示例1: 具有5个工作节点的独立群集(每个节点具有8个核心)当我使用默认设置启动应用程序时.
示例2 与示例1相同的集群配置,但我运行具有以下设置的应用程序--executor-cores 10 --total-executor-cores 10.
示例3 与示例1相同的集群配置,但我运行具有以下设置的应用程序--executor-cores 10 --total-executor-cores 50.
示例4 与示例1相同的集群配置,但我运行具有以下设置的应用程序--executor-cores 50 --total-executor-cores 50.
示例5 与示例1相同的集群配置,但我运行具有以下设置的应用程序--executor-cores 50 --total-executor-cores 10.
在每个例子中,有多少执行者？每个执行程序有多少个线程？多少个核心？如何根据申请决定执行人数.它总是与工人数量相同吗？