Spark 重试尝试配置在 Spark 会话中不起作用

Question

我正在尝试限制火花应用程序尝试。作业失败一次后，会以yarn client模式重新提交。

我正在使用 Azure 数据工厂中的 HDInsight 活动。如果参数是从 ADF 传递的，则仅限一次尝试。

#

 val conf: SparkConf = new SparkConf()
  conf.set("spark.yarn.maxAppAttempts","5")
  conf.set("yarn.resourcemanager.am.max-attempts","5")

  val sc = SparkSession.builder
     .master("yarn")
    .config(conf)
    .appName("test")
    .enableHiveSupport()
    //.config("yarn.resourcemanager.am.max-attempts","1")
    //.config("spark.yarn.maxAppAttempts","1")
    .getOrCreate() ##

sc.conf.set("spark.yarn.maxAppAttempts","1")

从控制台打印参数显示 (spark.yarn.maxAppAttempts,1) (yarn.resourcemanager.am.max-attempts,1)

Answer 1

yarn.resourcemanager.am.max-attempts检查Yarn 集群中设置的值。Spark Spark.yarn.maxAppAttempts 不能大于yarn cluster中设置的值。它应该小于并等于，yarn.resourcemanager.am.max-attempts以便 Spark 应用程序可以尊重纱线设置。