Python进度条通过记录模块

Question

我已经在Python中看到了针对进度条的不同解决方案,但是简单的stdout解决方案对我的项目不起作用.我有多个类并使用"logging"模块将信息输出到STDOUT.我有一个功能,我想在一行显示进度条,每次刷新缓冲区.

简单进展的例子:

for i in range(100):
    time.sleep(1)
    sys.stdout.write("\r%d%%" %i)
    sys.stdout.flush()

当我尝试通过STDOUT写入然后刷新缓冲区时,缓冲区没有被刷新或者进度没有进入任何地方.我希望避免某种线程或复杂的过程来实现这一点.有人有一个首选的方法来实现这一目标吗？

Answer 1

我找不到一个很好的解决方案,所以我写了启发进度条来处理它.基本上它会更改终端的滚动区域,因此日志记录在进度条上方完成,而不是每次要写入STDOUT时都必须重绘进度条.这使您可以根据需要写入终端,而无需修改日志,打印等.

它应该适用于大多数非Windows终端.未来可能会提供Windows支持,但还没有人要求它.

import logging
import time
import enlighten

# Setup logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger()

# Setup progress bar
manager = enlighten.get_manager()
pbar = manager.counter(total=100, desc='Ticks', unit='ticks')

for i in range(1, 101):
    logger.info("Processing step %s" % i)
    time.sleep(.2)
    pbar.update()

Answer 2

我这样解决了:

import logging
import time
from tqdm import tqdm
import io

class TqdmToLogger(io.StringIO):
    """
        Output stream for TQDM which will output to logger module instead of
        the StdOut.
    """
    logger = None
    level = None
    buf = ''
    def __init__(self,logger,level=None):
        super(TqdmToLogger, self).__init__()
        self.logger = logger
        self.level = level or logging.INFO
    def write(self,buf):
        self.buf = buf.strip('\r\n\t ')
    def flush(self):
        self.logger.log(self.level, self.buf)

if __name__ == "__main__":
    logging.basicConfig(format='%(asctime)s [%(levelname)-8s] %(message)s')
    logger = logging.getLogger()
    logger.setLevel(logging.DEBUG)

    tqdm_out = TqdmToLogger(logger,level=logging.INFO)
    for x in tqdm(range(100),file=tqdm_out,mininterval=30,):
        time.sleep(.5)

产量

2016-12-19 15:35:06 [INFO    ] 16%|#####9                                | 768/4928 [07:04<40:50,  1.70it/s]
2016-12-19 15:36:07 [INFO    ] 18%|######6                               | 865/4928 [08:04<40:34,  1.67it/s]

Answer 3

您可以通过记录使用tqdm进度栏和自定义处理程序，如下所示：

import logging
import time
import colorlog
from tqdm import tqdm

class TqdmHandler(logging.StreamHandler):
    def __init__(self):
        logging.StreamHandler.__init__(self)

    def emit(self, record):
        msg = self.format(record)
        tqdm.write(msg)

if __name__ == "__main__":
    for x in tqdm(range(100)):
        logger = colorlog.getLogger("MYAPP")
        logger.setLevel(logging.DEBUG)
        handler = TqdmHandler()
        handler.setFormatter(colorlog.ColoredFormatter(
            '%(log_color)s%(name)s | %(asctime)s | %(levelname)s | %(message)s',
            datefmt='%Y-%d-%d %H:%M:%S',
            log_colors={
                'DEBUG': 'cyan',
                'INFO': 'white',
                'SUCCESS:': 'green',
                'WARNING': 'yellow',
                'ERROR': 'red',
                'CRITICAL': 'red,bg_white'},))

        logger.addHandler(handler)
        logger.debug("Inside subtask: "+str(x))
        time.sleep(.5)

Answer 4

如果您知道进度条始终会写入 STDOUT，那么您应该使用print记录器而不是记录器。请参阅Python 日志记录教程文档中的文档