使用log4j.xml配置Spark日志记录

Question

我猜这是一个愚蠢的问题，但我在任何地方都找不到答案。

我可以使用log4j.xml配置登录spark吗？

在spark 文档中提到的您可以使用log4j.properties配置日志记录，我希望将log4j.xml用于更高级的log4j功能，例如异步附加程序。我的工作将在通过oozie安排的纱线（CDH）上以群集模式运行。我知道在任何解决方案中都需要使用--files

Answer 1

您可以将的log4j.xml文件设置spark.executor.extraJavaOptions为添加-Dlog4j.configuration=log4j.xml并包括在worker的类路径中（捆绑在应用程序jar中或添加到随附的文件中--files）。