为 asyncio 制作 tqdm 进度条

Question

我正在尝试使用收集的异步任务的 tqdm 进度条。

希望在完成任务后逐步更新进度条。试过代码：

import asyncio
import tqdm
import random

async def factorial(name, number):
    f = 1
    for i in range(2, number+1):
        await asyncio.sleep(random.random())
        f *= i
    print(f"Task {name}: factorial {number} = {f}")

async def tq(flen):
    for _ in tqdm.tqdm(range(flen)):
        await asyncio.sleep(0.1)

async def main():
    # Schedule the three concurrently

    flist = [factorial("A", 2),
        factorial("B", 3),
        factorial("C", 4)]

    await asyncio.gather(*flist, tq(len(flist)))

asyncio.run(main())

...但这只是完成了 tqdm 条，然后处理阶乘。

有没有办法在每个 asyncio 任务完成后让进度条移动？

Answer 1

现在，我不是特别熟悉asyncho，尽管我已经tqdm成功地使用了 python 中的多进程。对您的代码进行的以下更改似乎会更新进度条并同时打印结果，这可能足以让您入门。

responses = [await f
                 for f in tqdm.tqdm(asyncio.as_completed(flist), total=len(flist))]

以上应该await asyncio.gather(*flist, tq(len(flist)))在您的main定义中替换。

有关更多信息，以上内容的灵感来自带有 tqdm 的 asyncio aiohttp 进度条

为了只打印一次栏并更新它，我已经完成了以下操作，更新了进度栏的描述以包含您的消息：

import asyncio
import tqdm


async def factorial(name, number):
    f = 1
    for i in range(2, number + 1):
        await asyncio.sleep(1)
        f *= i
    return f"Task {name}: factorial {number} = {f}"

async def tq(flen):
    for _ in tqdm.tqdm(range(flen)):
        await asyncio.sleep(0.1)


async def main():
    # Schedule the three concurrently

    flist = [factorial("A", 2),
             factorial("B", 3),
             factorial("C", 4)]

    pbar = tqdm.tqdm(total=len(flist))
    for f in asyncio.as_completed(flist):
        value = await f
        pbar.set_description(value)
        pbar.update()

if __name__ == '__main__':
    asyncio.run(main())

Answer 2

从tqdm 版本 4.48.0 开始，可以使用tqdm.asyncio.tqdm.as_completed()

import tqdm.asyncio
...
for f in tqdm.asyncio.tqdm.as_completed(flist):
    await f

Answer 3

正如Danferno 在他的评论中所说，现在有一个更简单的解决方案，您只需用 tqdm 提供的 Gather 函数替换 asyncio Gather 即可。您的代码可以更改为：

import asyncio
from tqdm.asyncio import tqdm
import random

async def factorial(name, number):
    f = 1
    for i in range(2, number+1):
        await asyncio.sleep(random.random())
        f *= i
    print(f"Task {name}: factorial {number} = {f}")


async def main():
    # Schedule the three concurrently

    flist = [factorial("A", 2),
        factorial("B", 3),
        factorial("C", 4)]

    await tqdm.gather(*flist)

asyncio.run(main())

Answer 4

pbar对 Dragos 的代码在格式上做了一些小改动，tqdm.write()几乎得到了我想要的，如下：

import asyncio
import random

import tqdm


async def factorial(name, number):
    f = 1
    for i in range(2, number + 1):
        await asyncio.sleep(random.random())
        f *= i
    return f"Task {name}: factorial {number} = {f}"

async def tq(flen):
    for _ in tqdm.tqdm(range(flen)):
        await asyncio.sleep(0.1)


async def main():

    flist = [factorial("A", 2),
             factorial("B", 3),
             factorial("C", 4)]

    pbar = tqdm.tqdm(total=len(flist), position=0, ncols=90)
    for f in asyncio.as_completed(flist):
        value = await f
        pbar.set_description(desc=value, refresh=True)
        tqdm.tqdm.write(value)
        pbar.update()

if __name__ == '__main__':
    asyncio.run(main())