小编xst*_*000的帖子

如何为 Intellij 内运行的 Spark 程序配置 log4j?

我已经尝试了谷歌上所有可能的建议,但我仍然得到信息级别的火花日志,这太冗长了。

import org.apache.log4j.{Level, LogManager, Logger}
import org.apache.spark.sql.SparkSession

object  tmp {

  def main(args: Array[String]): Unit = {
    val spark =  SparkSession.builder()
      .master("local[*]")
      .getOrCreate()

    spark.sparkContext.setLogLevel("ERROR")

    LogManager.getRootLogger.setLevel(Level.ERROR)
    val rootLogger = Logger.getRootLogger()
    rootLogger.setLevel(Level.ERROR)

    Logger.getLogger("org").setLevel(Level.OFF)
    Logger.getLogger("akka").setLevel(Level.OFF)

    spark.read.json("/home/white/wk/tmp/people.json").show
  }
}
Run Code Online (Sandbox Code Playgroud)

intellij-idea apache-spark apache-spark-sql

3
推荐指数
1
解决办法
4974
查看次数