相关疑难解决方法(0)

如何使用aiohttp在客户端设置每秒的最大请求数(限制它们)？

API通常具有用户必须遵循的速率限制。例如，让我们接受50个请求/秒。顺序请求需要0.5-1秒，因此太慢了，无法接近该限制。但是，使用aiohttp的并行请求超出了速率限制。

为了尽可能快地轮询API，需要对并行调用进行速率限制。

到目前为止，我发现的示例装饰了session.get，大致像这样：

session.get = rate_limited(max_calls_per_second)(session.get)

这对于顺序调用非常有效。尝试在并行调用中实现此功能无法按预期进行。

这是一些示例代码：

async with aiohttp.ClientSession() as session:
    session.get = rate_limited(max_calls_per_second)(session.get)
    tasks = (asyncio.ensure_future(download_coroutine(  
          timeout, session, url)) for url in urls)
    process_responses_function(await asyncio.gather(*tasks))

问题在于它将限制任务的排队速度。与的执行gather将或多或少地同时发生。两全其美；-)。

是的，我在aiohttp处发现了一个类似的问题：设置每秒的最大请求数，但没有答复回答限制请求速率的实际问题。同样，来自Quentin Pradet的博客文章仅在限制队列速率上起作用。

总结一下：如何限制并行请求的每秒aiohttp请求数？

tl;dr：如何最大限度地增加可以并行发送的 http 请求数？

我正在使用aiohttp库从多个 url 获取数据。我正在测试它的性能，我观察到在这个过程中的某个地方存在瓶颈，一次运行更多的 url 无济于事。

我正在使用此代码：

import asyncio
import aiohttp

async def fetch(url, session):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0'}
    try:
        async with session.get(
            url, headers=headers, 
            ssl = False, 
            timeout = aiohttp.ClientTimeout(
                total=None, 
                sock_connect = 10, 
                sock_read = 10
            )
        ) as response:
            content = await response.read()
            return (url, 'OK', content)
    except Exception as e:
        print(e)
        return (url, 'ERROR', str(e))

async def run(url_list):
    tasks = []
    async with …