小编Sir*_*ack的帖子

如何防止引发 asyncio.TimeoutError 并继续循环

我正在使用带有 limited_as_completed 方法的 aiohttp 来加速报废(大约 1 亿个静态网站页面)。但是,代码在几分钟后停止,并返回 TimeoutError。我尝试了几件事,但仍然无法阻止引发 asyncio.TimeoutError。请问我如何忽略错误并继续?

我正在运行的代码是:

N=123
import html
from lxml import etree
import requests
import asyncio 
import aiohttp
from aiohttp import ClientSession, TCPConnector
import pandas as pd
import re 
import csv 
import time
from itertools import islice
import sys
from contextlib import suppress

start = time.time()
data = {}
data['name'] = []
filename = "C:\\Users\\xxxx"+ str(N) + ".csv"

def limited_as_completed(coros, limit):
    futures = [
        asyncio.ensure_future(c)
        for c in islice(coros, 0, limit)
    ]
    async def first_to_finish(): …
Run Code Online (Sandbox Code Playgroud)

python exception-handling timeoutexception python-asyncio aiohttp

5
推荐指数
3
解决办法
9560
查看次数