无法禁用日志Spark Eclipse Scala

Question

我正在尝试在Scala代码中禁用Spark日志。我已尝试了所有可能找到的内容，但日志仍然出现。

这是我所做的：

我编辑了log4j.properties文件并更改了以下行：

从log4j.rootCategory = WARNING, console 到 log4j.rootCategory = ERROR, console

我还使用了spark上下文将级别设置为error或off：

sc.setLogLevel("OFF")

或出错：

sc.setLogLevel("ERROR")

我还导入了log4j.Level和log4jLogger

并做了：

var rootLogger = Logger.getRootLogger()
rootLogger.setLevel(Level.FATAL)

最后一次尝试：

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)
Logger.getLogger("spark").setLevel(Level.OFF)

但是我仍在日志中获取信息和警告。

有任何想法吗？我的Spark版本是2.0.0

Answer 1

在创建SparkContext之前添加以下代码

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)