如何防止记录pyspark的“已收到答复”和“发送命令”消息

Question

我正在使用pyspark和pyspark的python日志记录，DEBUG级别的消息正在使用所示示例充斥我的日志文件。如何防止这种情况发生？一个简单的解决方案是将日志级别设置为INFO，但是我需要记录自己的python DEBUG级别消息

2015-12-13 15:13:32 4906 DEBUG   : Command to send: j
i
rj
org.apache.spark.SparkConf
e

2015-12-13 15:13:32 4906 DEBUG   : Answer received: yv
2015-12-13 15:13:32 4906 DEBUG   : Command to send: j
i
rj
org.apache.spark.api.java.*
e

2015-12-13 15:13:32 4906 DEBUG   : Answer received: yv
2015-12-13 15:13:32 4906 DEBUG   : Command to send: j
i
rj
org.apache.spark.api.python.*
e

Answer 1

您可以分别为每个记录器设置日志记录级别

 pyspark_log = logging.getLogger('pyspark')
 pyspark_log.setLevel(logging.ERROR)