标签: python-logging

我最近将我的脚本从 2.x 移植到 3.x。在通过自动化 (rundeck) 运行的生产过程中，我们看到由于记录器未处理阻塞 I/O 而导致的错误。任何如何解决的想法都会很棒。

• Ubuntu 18.04.1 LTS
• 蟒蛇 3.6.7

--- Logging error ---
Traceback (most recent call last):
  File "/usr/lib/python3.6/logging/__init__.py", line 998, in emit
    self.flush()
  File "/usr/lib/python3.6/logging/__init__.py", line 978, in flush
    self.stream.flush()
BlockingIOError: [Errno 11] write could not complete without blocking

I have the following handler configuration for logging:

    "handlers": {
      'system_file': {
        'level': 'DEBUG',
        'class': 'logging.handlers.TimedRotatingFileHandler',
        'filename': os.path.join(LOG_FOLDER, "all.log"),
        'formatter': 'verbose',
        'when': 'midnight',
        'backupCount': '30',
      }
   }

Now based on this configuration my logs should get rotated every midnight, i.e it should create date wise logs.

In the all.log file, everything gets logged properly with correct timestamp, but when the rotation happens, I do not see all the logs in the backup log files (previous day log files).

For example: …

Python 3.8.0，pytest 5.3.2，日志记录 0.5.1.2。

我的代码有一个输入循环，为了防止程序完全崩溃，我捕获任何抛出的异常，将它们记录为关键，重置程序状态，然后继续运行。这意味着导致这种异常的测试不会完全失败，只要输出仍然是预期的。如果错误是测试代码的副作用但不影响主要测试逻辑，则可能会发生这种情况。但是，我仍然想知道该测试暴露了一个导致错误的错误。

我所做的大部分谷歌搜索都显示了如何在 pytest 中显示日志的结果，我正在这样做，但我不知道是否有办法在测试中公开日志，这样我就可以在任何测试中失败错误或严重级别的日志。

编辑：这是失败尝试的最小示例：

test.py：

import subject
import logging
import pytest

@pytest.fixture(autouse=True)
def no_log_errors(caplog):
    yield  # Run in teardown
    print(caplog.records)
    # caplog.set_level(logging.INFO)
    errors = [record for record in caplog.records if record.levelno >= logging.ERROR]
    assert not errors

def test_main():
    subject.main()
    # assert False

subject.py：

import logging
logger = logging.Logger('s')
def main():
    logger.critical("log critical")

运行python3 -m pytest test.py通过没有错误。取消对 assert 语句的注释使测试失败且没有错误，并打印[]到 stdout 和log criticalstderr。

编辑2：

我找到了为什么会失败。从关于 caplog 的文档： …

我是 Flask 新手，在过滤某些日志时遇到问题。我的用例很简单：我不想记录运行状况检查查询，该查询命中了路线/health。

这是我所拥有的：

from flask import Flask
from flask.logging import logging

class NoHealth(logging.Filter):
    def filter(self, record):
        return 'GET /health' not in record.getMessage()

no_health = NoHealth()
app = Flask(__name__)
app.logger.addFilter(no_health)
app.logger.setLevel('INFO')

@app.route('/health')
def health_check():
    return "OK"

我想要删除的日志如下所示：

127.0.0.1 - - [31/Mar/2020 17:51:03] "GET /health HTTP/1.1" 200 -

然而，他们仍然在渡过难关。我缺少什么？

请帮助我，如何将python脚本日志发送到syslog服务器（syslog-ng产品），我已经尝试过以下方法..它有两种方法。一个是“SysLogHandler”，另一个是“SocketHandler”

import logging
import logging.handlers
import socket

my_logger = logging.getLogger('MyLogger')
my_logger.setLevel(logging.DEBUG)

handler = logging.handlers.SysLogHandler(address=('10.10.11.11', 611), socktype=socket.SOCK_STREAM)
#handler = logging.handlers.SocketHandler('10.10.11.11', 611)

my_logger.addHandler(handler)

my_logger.debug('this is debug')
my_logger.critical('this is critical')

结果：SysLogHandler

[ansible@localhost ~]$ python test.py
Traceback (most recent call last):
  File "test.py", line 8, in <module>
    handler = logging.handlers.SysLogHandler(address=('10.10.11.11', 611), socktype=socket.SOCK_STREAM)
  File "/usr/lib64/python3.6/logging/handlers.py", line 847, in __init__
    raise err
  File "/usr/lib64/python3.6/logging/handlers.py", line 840, in __init__
    sock.connect(sa)
ConnectionRefusedError: [Errno 111] Connection refused #THIS IS OK for me since server unreachable.
Error in atexit._run_exitfuncs:
Traceback …

我正在尝试使用TimedRotatingFileHandler实现 python 日志记录

Path(".\\Log").mkdir(parents=True, exist_ok=True)
LOGGING_MSG_FORMAT  = '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
LOGGING_DATE_FORMAT = '%m-%d %H:%M:%S'
formatter = logging.Formatter(LOGGING_MSG_FORMAT, LOGGING_DATE_FORMAT)
handler = TimedRotatingFileHandler(".\\Log\\info.log",'midnight',1)
handler.setFormatter(formatter)
handler.setLevel(logging.INFO)
root_logger = logging.getLogger()
root_logger.addHandler(handler)