应用程序中的阶段是否在spark中并行运行？

Question

我怀疑,如何在spark应用程序中执行各个阶段.程序员可以定义的阶段执行是否一致,还是由spark引擎派生？

Answer 1

检查此图片中的实体(阶段,分区):

pic学分

作业中的阶段(火花应用程序？)是否与火花并行？

是的,如果没有顺序依赖,它们可以并行执行.

此处,阶段1和阶段2分区可以并行执行,但不能执行阶段0分区,因为必须处理阶段1和阶段2中的依赖关系分区.

程序员可以定义的阶段执行是否一致,还是由spark引擎派生？

阶段边界由分区之间发生数据混洗的时间定义.(查看pic中的粉色线条)