如何在 Spark 应用程序中进行有效的日志记录

Question

我有一个用 Scala 编写的 Spark 应用程序代码，它运行一系列 Spark-SQL 语句。这些结果是通过最后针对最终数据帧调用“计数”操作来计算的。我想知道在 Spark-scala 应用程序作业中进行日志记录的最佳方法是什么？由于所有数据帧（大约 20 个）最终都是使用单个操作计算的，因此在记录某些语句的输出/序列/成功时我有哪些选择。

问题本质上不太通用。由于spark采用惰性评估，执行计划由spark决定，我想知道应用程序语句成功运行到什么点以及该阶段的中间结果是什么。

这里的目的是监视长时间运行的任务，看看到什么时候它是好的以及问题出现在哪里。

如果我们尝试将日志记录放在转换之前/之后，那么在读取代码时就会打印它。因此，在实际执行期间必须使用自定义消息来完成日志记录（在 scala 代码末尾调用操作）。如果我尝试在代码之间放置 count/take/first 等，那么作业的执行速度会减慢很多。

Answer 1

我了解您面临的问题。让我为此提出一个简单的解决方案。

你需要利用org.apache.log4j.Logger. 使用以下代码行生成记录器消息。

org.apache.log4j.Logger logger = org.apache.log4j.Logger.getRootLogger();

logger.error(errorMessage);
logger.info(infoMessage);
logger.debug(debugMessage);

现在，为了将这些消息重定向到日志文件，您需要创建一个包含以下内容的 log4j 属性文件。

# Root logger option

# Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=OFF
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=OFF
log4j.logger.org.spark-project.jetty.servlet.ServletHandler=OFF
log4j.logger.org.spark-project.jetty.server=OFF
log4j.logger.org.spark-project.jetty=OFF
log4j.category.org.spark_project.jetty=OFF
log4j.logger.Remoting=OFF
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

# Setting properties to have logger logs in local file system 
log4j.appender.rolling=org.apache.log4j.RollingFileAppender
log4j.appender.rolling.encoding=UTF-8
log4j.appender.rolling.layout=org.apache.log4j.PatternLayout
log4j.appender.rolling.layout.conversionPattern=[%d] %p %m (%c)%n
log4j.appender.rolling.maxBackupIndex=5
log4j.appender.rolling.maxFileSize=50MB
log4j.logger.org.apache.spark=OFF
log4j.logger.org.spark-project=OFF
log4j.logger.org.apache.hadoop=OFF
log4j.logger.io.netty=OFF
log4j.logger.org.apache.zookeeper=OFF
log4j.rootLogger=INFO, rolling
log4j.appender.rolling.file=/tmp/logs/application.log

您可以在最后一条语句中命名日志文件。确保每个节点上的文件夹具有适当的权限。

现在，我们需要在提交 Spark 作业时传递配置，如下所示。

 --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=spark-log4j.properties --conf spark.driver.extraJavaOptions=-Dlog4j.configuration=spark-log4j.properties 

和，

--files "location of spark-log4j.properties file"

希望这可以帮助！