小编TrM*_*Max的帖子

如何使用 Python 中的 Eventlet 和 Requests 解决“RecursionError:超出最大递归深度”

我正在尝试实现这里提到的 Amazon Web Scraper 。但是,我得到了下面提到的输出。输出会重复,直到以 停止RecursionError: maximum recursion depth exceeded。我已经尝试将 eventlet 降级到版本 0.17.4,如此处所述。此外,requests正如您在 中看到的那样,该模块正在修补helpers.py

助手.py

import os
import random
from datetime import datetime
from urllib.parse import urlparse

import eventlet

requests = eventlet.import_patched('requests.__init__')
time = eventlet.import_patched('time')
import redis

from bs4 import BeautifulSoup
from requests.exceptions import RequestException

import settings

num_requests = 0

redis = redis.StrictRedis(host=settings.redis_host, port=settings.redis_port, db=settings.redis_db)


def make_request(url, return_soup=True):
    # global request building and response handling

    url = format_url(url)

    if "picassoRedirect" …
Run Code Online (Sandbox Code Playgroud)

python proxy amazon-ec2 web-scraping eventlet

1
推荐指数
1
解决办法
3303
查看次数

标签 统计

amazon-ec2 ×1

eventlet ×1

proxy ×1

python ×1

web-scraping ×1