错误时纱线上的火花运行两次

Question

我使用在纱线上产生火花的模型，遇到问题时，火花将自动重新启动。

无论成功或失败，我都想准确运行一次。

是否可以设置任何conf或api？

我正在使用Spark 1.5版。

Answer 1

您必须将spark.yarn.maxAppAttempts属性设置为1。默认值yarn.resourcemanager.am.max-attempts是默认值2。

通过代码设置属性：

SparkConf conf = new SparkConf();
conf.set("spark.yarn.maxAppAttempts", "1");

通过spark-submit提交作业时设置：

--conf spark.yarn.maxAppAttempts = 1