我有一个 AWS EMR 集群(emr-4.2.0,Spark 1.5.2),我从 aws cli 提交步骤。我的问题是,如果 Spark 应用程序失败,那么 YARN 会尝试再次运行该应用程序(在同一 EMR 步骤下)。我怎样才能防止这种情况?
我试图设置--conf spark.yarn.maxAppAttempts=1,它在 Environment/Spark Properties 中正确设置,但它不会阻止 YARN 重新启动应用程序。
我使用在纱线上产生火花的模型,遇到问题时,火花将自动重新启动。
无论成功或失败,我都想准确运行一次。
是否可以设置任何conf或api?
我正在使用Spark 1.5版。