小编Ron*_*ngh的帖子

添加:spark.yarn.submit.waitAppCompletion=false有什么影响?

我试图了解在提交 Spark 步骤时添加:配置会产生什么影响spark.yarn.submit.waitAppCompletion=false。据我所知,如果它设置为 true,客户端进程将保持活动状态并报告应用程序的状态。否则,客户端进程将在提交后退出。

KeepJobFlowAliveWhenNoSteps = False当集群和提交的步骤具有该属性时会发生什么spark.yarn.submit.waitAppCompletion=false?当该步骤的工作尚未完成并且其余所有其他步骤已完成执行时,该步骤是否会被终止?

amazon-emr hadoop-yarn apache-spark

5
推荐指数
1
解决办法
1700
查看次数

标签 统计

amazon-emr ×1

apache-spark ×1

hadoop-yarn ×1