Python + requests + splinter:制作多个并发'get'请求的最快/最好方法是什么？

Question

目前正在与其他学生一起参加网络抓取课程,我们应该向虚拟网站提出"获取"请求,解析并访问其他网站.

问题是,虚拟站点的内容只会持续几分钟而消失,内容会以一定的间隔恢复.在内容可用的时间内,每个人都试图发出"获取"请求,因此我只是挂起,直到每个人都清除,内容最终消失.所以我最终无法成功发出'get'请求:

import requests
from splinter import Browser    

browser = Browser('chrome')

# Hangs here
requests.get('http://dummysite.ca').text
# Even if get is successful hangs here as well
browser.visit(parsed_url)

所以我的问题是,在得到回复之前,最快/最好的方法是做出无休止的并发"获取"请求？

Answer 1

1. 决定使用requests或splinter

   了解请求：人类的 HTTP
   了解Splinter

2. 有关的

   阅读有关保持活动的内容
   阅读有关阻塞或非阻塞的内容
   阅读有关超时的内容
   阅读有关错误和异常的内容

如果您能够获得不挂起的请求，您可以考虑重复的请求，例如：

while True:
    requests.get(...
    if request is succesfull:
        break

    time.sleep(1)