Python 日志记录开销

Question

我正在使用asyncio模块编写代码，其中包含大量信息/调试日志记录（logging.FileHandler）。我担心在asyncio中广泛使用日志记录会降低应用程序的性能，因为日志记录会阻塞操作。

最好的解决方案是什么？没有找到任何有关日志记录开销的信息。

也许使用SocketHandler或MemoryHandler会有帮助？对于指标，我使用statsd（这也是阻塞操作，但必须非常快），但我更关心非阻塞日志记录。

代码示例：

@asyncio.coroutine
def creator_worker(self):
    while not self.q.empty():
        with (yield from self.semaphore):
            sample = yield from self.q.get()
            logging.debug('Got new sample, processing')
            # start processing

我知道

import os
os.environ['PYTHONASYNCIODEBUG'] = '1'
import asyncio

但这不是我要找的。

谢谢

Answer 1

Logging文档提供了一种解决方案，通过QueueHandler记录日志，然后使用QueueListener在另一个线程中处理日志记录。 https://docs.python.org/3.6/howto/logging-cookbook.html#dealing-with-handlers-that-block

Answer 2

您可以创建自定义日志处理程序。处理程序会将日志记录推送到队列中。另一个线程可以从队列中读取数据并执行实际的日志记录。

作为您可以使用的一个选项SysLogHandler——它非常快。但是，无论如何，记录太多会降低性能，您对此无能为力。