如何隐藏"py4j.java_gateway:在对象id p0上收到命令c"？

Question

在INFO级别启动日志记录后,我会不断收集py4j.java_gateway:Received command c on object id p0日志.我怎么能隐藏它？

Answer 1

使用logging模块运行:

logging.getLogger("py4j").setLevel(logging.ERROR)

Answer 2

这些答案都不适合我。即使使用上述解决方案后，我仍然收到日志记录错误。

经过长时间的搜索，我发现以下内容解决了我的问题。

import logging
logger = spark._jvm.org.apache.log4j
logging.getLogger("py4j.java_gateway").setLevel(logging.ERROR)

我在 Databricks 知识库文章中找到了这个解决方案