如何设置 pyspark 日志记录级别进行调试？

Question

任何人都可以帮助我设置日志记录级别以调试和捕获更多日志所需的 Spark 配置

Answer 1

setLogLevel在 SparkSession 中将属性设置为DEBUG。

from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').appName('test').getOrCreate()
spark.sparkContext.setLogLevel("DEBUG")

#or

log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.DEBUG)

#for custom log
log4j.LogManager.getRootLogger().info("custom log")
#2020-05-06 13:43:42 INFO  root:? - custom log