相关疑难解决方法(0)

如何防止 EMR Spark 步骤重试?

我有一个 AWS EMR 集群(emr-4.2.0,Spark 1.5.2),我从 aws cli 提交步骤。我的问题是,如果 Spark 应用程序失败,那么 YARN 会尝试再次运行该应用程序(在同一 EMR 步骤下)。我怎样才能防止这种情况?

我试图设置--conf spark.yarn.maxAppAttempts=1,它在 Environment/Spark Properties 中正确设置,但它不会阻止 YARN 重新启动应用程序。

amazon-web-services emr hadoop-yarn apache-spark

6
推荐指数
0
解决办法
2119
查看次数

错误时纱线上的火花运行两次

我使用在纱线上产生火花的模型,遇到问题时,火花将自动重新启动。

无论成功或失败,我都想准确运行一次。

是否可以设置任何conf或api?

我正在使用Spark 1.5版。

hadoop-yarn apache-spark

4
推荐指数
1
解决办法
1133
查看次数