添加：spark.yarn.submit.waitAppCompletion=false有什么影响？

Question

我试图了解在提交 Spark 步骤时添加：配置会产生什么影响spark.yarn.submit.waitAppCompletion=false。据我所知，如果它设置为 true，客户端进程将保持活动状态并报告应用程序的状态。否则，客户端进程将在提交后退出。

KeepJobFlowAliveWhenNoSteps = False当集群和提交的步骤具有该属性时会发生什么spark.yarn.submit.waitAppCompletion=false？当该步骤的工作尚未完成并且其余所有其他步骤已完成执行时，该步骤是否会被终止？

Answer 1

根据我的经验，KeepJobFlowAliveWhenNoSteps = False集群spark.yarn.submit.waitAppCompletion=false将不知道当前步骤的状态，因此它会认为该步骤已完成，然后移至下一步或终止集群。