EMR 6.9 中的 EMR 6.7 配置给出错误分类“spark-log4j”对于父分类“null”无效

Question

我使用的是emr 6.7，软件配置：

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  },
  {
    "Classification": "spark-log4j",
    "Properties": {
      "log4j.rootCategory": "ERROR, console"
    }
  }
]

但由于某种原因，当我转向 emr 6.9 时。

was 网站开始抛出错误

分类“spark-log4j”对于父分类“null”无效。

如果我删除这个 Spark-log4j 那么它可以工作，但开始提供不必要的信息和调试日志

如何在 EMR 6.9 中配置 Spark-log4j？

Answer 1

将配置中的分类从“spark-log4j”更改为“spark-log4j2”，因为较新的 EMR 版本现在对 Spark 使用 log4j2。以下是有效分类的文档：https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-690-release.html#emr-690-class。