use*_*498 2 cloud apache-spark
只是想知道 Spark 如何安排作业？简单来说，我已经阅读了很多关于它是如何做到的描述，但它们太复杂而无法理解。
Sat*_*ish 5
在高层次上，当在 RDD 上调用任何操作时，Spark 创建 DAG 并提交给 DAG 调度程序。
DAG 调度器将算子划分为任务阶段。一个阶段由基于输入数据分区的任务组成。DAG 调度程序将操作符管道在一起。例如，许多地图操作员可以在一个阶段进行调度。DAG 调度程序的最终结果是一组阶段。
阶段被传递给任务调度程序。任务调度程序通过集群管理器启动任务。（Spark Standalone/Yarn/Mesos）。任务调度程序不知道阶段的依赖关系。
Worker 在 Slave 上执行任务。
查看此答案以获取更多信息
归档时间：
10 年，4 月 前
查看次数：
4838 次
最近记录：
5 年，4 月 前