如何在IntelliJ IDEA中设置Spark应用程序的日志记录级别？

Question

我正在通过SBT创建IntelliJ中的Scala项目.该项目将Spark作为其依赖项之一.我还处于开发阶段,所以一切都在我的本地机器上运行.

例如,如何更改日志级别等Spark配置？

Answer 1

如果您正在使用IDE进行本地开发,则可以在运行时更改日志级别:

LogManager.getRootLogger.setLevel(Level.ALL)

Ps:在代码中创建SparkContext/SQLContext后放置该行.

Answer 2

在Eclipse下为我设置SparkContext上的日志级别

spark.sparkContext.setLogLevel("WARN")