使用文件处理程序进行Python正确记录

Question

我在我的django应用程序中使用python日志记录.如果需要,连接到后端api的类会使用文件处理程序初始化此记录器.每次进行api调用时,类都会被实例化.我已经尝试确保每次都不添加其他处理程序,但是

lsof | grep my.log 

在我的日志文件中显示越来越多的处理程序,一段时间后我的服务器因此打开文件限制而失败.

 self.logger = logging.getLogger("FPA")

        try:
            if self.logger.handlers[0].__class__.__name__=="FileHandler":
                pass
        except Exception, e:
            print 'new filehandler added'+str(e)
            ch = logging.FileHandler(FPA_LOG_TARGET)
            formatter = logging.Formatter("%(asctime)s - %(levelname)s - %(message)s - %(pathname)s @ line %(lineno)d")
            ch.setFormatter(formatter)
            self.logger.setLevel(logging.DEBUG)
            self.logger.addHandler(ch)

我意识到这可能不是最好的方法,但到目前为止我还没有在我的实现中发现错误.

Answer 1

很久没有分析if，不过看起来像是并发问题。

每个进程/线程都保留自己的已打开日志文件的文件句柄列表。

如何修复它？对于多线程代码，请确保有一个保存所有句柄的全局字典。对于多进程 - 恐怕我没有答案...每个进程都保留自己的文件句柄，也许将其映射到内存（内存映射文件可能是一个选项），但我不确定这是一个很好的解决方案 -请参阅此评论。

但主要问题是为什么你需要做这样的事情。

首先，您可以使用logging.conf文件来初始化所有记录器/处理程序/格式化程序，并在需要时（例如，特定记录器很广泛，并且您希望将其记录到单独的文件中）添加另一个具有不同文件名的记录器。如果您要为每个 django 应用程序添加一个记录器，通过在__init__.py应用程序的 main 中添加：

import logging
log = logging.getLogger(__name__)

然后导入log应用程序代码的其余部分（视图、模型等）

要使用logging.conf，请将以下行添加到您的 settings.py 中：

import os
import logging
DIRNAME = os.path.abspath(os.path.dirname(__file__))
logging.config.fileConfig(os.path.join(DIRNAME, 'logging.conf'))

是的，它是手动的，但您不需要更改代码，而只需更改配置文件。

另一种方法（如果您确实希望每种记录器类型都有一个文件）是有一个单独的进程，该进程将保持文件打开，接受来自应用程序的连接。日志记录模块文档有一个关于此方法的很好的示例。

最后但并非最不重要的一点是，已经有一些不错的解决方案可能会有所帮助。其中一个非常好，就是使用 django-sentry。该模块可以记录所有异常、404（包含额外的中间件）并捕获所有日志记录（通过包含的日志记录处理程序）。

提供的 UI 将使您能够搜索所有记录的消息，并按严重性和日志记录源过滤它们。但这并不限于这些 - 您可以简单地添加自己的模块。