如何在本地模式下使用Spark进行日志记录？

Question

在本地模式下工作时,是否可以在Apache Spark中对某个路径进行日志记录(将作为输入参数提供)？

val conf = new SparkConf().
  setAppName("SparkProgrammingGuide").
  setMaster(master).
  set("spark.eventLog.enabled", "true").
  set("spark.eventLog.dir", "file:///home/USER")
val sc = new SparkContext(conf)

Answer 1

这个问题已经在评论中得到了回答并经过独立验证。

@Rohan 的原始答案

您可以使用以下属性名称通过 SparkContext 启用事件日志记录和路径配置： spark.eventLog.enabled和spark.eventLog.dir。可以在此处找到相关文档。

@Yudovin 确认

我已使用spark.eventLog.dir参数在本地模式下运行 Spark，并且已创建带有日志的文件。Spark History Server 可用于查看和分析这些日志。