Fel*_*ler 6 cluster-computing amazon-emr apache-spark
想象一下EMR中的两种情况：
在单个节点上以本地模式运行Spark作业。
在集群模式下的小型两个节点集群（主节点和从节点）上运行同一作业。
我的问题是：这两项工作会花费相似的时间吗？
因为据我了解，主节点本身不执行任何任务，是真的吗？对于小型集群，是否可以“启用”要在主节点中运行的任务？
小智 0
要回答您的第一个问题，在给定的场景中，性能取决于您在单节点和双节点集群中运行的执行程序的数量。
如果不。在这两种情况下，执行器的数量保持相同，您将获得几乎相同的性能。会有细微的差异，因为在 2 节点集群中会有更多的网络和调度程序开销，这是最低限度的。
在单节点集群中，您将让所有驱动程序、集群管理器和执行程序在同一节点中运行。这意味着同一个单节点就像主节点和工作节点一样，在同一台机器上运行驱动程序和执行程序并执行任务
| 归档时间： |
|
| 查看次数： |
115 次 |
| 最近记录： |