python:[Errno 10054]远程主机强行关闭现有连接

Question

我正在使用Twitter-py编写python来抓取Twitter空间.我已经将爬虫设置为在每次请求api.twitter.com之间休眠一会儿(2秒).但是,经过一段时间的运行(大约1),当Twitter的速率限制尚未超过时,我得到了这个错误.

[Errno 10054] An existing connection was forcibly closed by the remote host.

这个问题的可能原因是什么以及如何解决这个问题？

我搜索过并发现由于许多请求,Twitter服务器本身可能会强制关闭连接.

非常感谢你提前.

Answer 1

这可能是由于连接的两端不同意在保持连接期间连接是否超时.(您的代码尝试重新使用连接,就像服务器关闭它一样,因为它已经空闲了太长时间.)您基本上应该只是通过新连接重试该操作.(我很惊讶您的图书馆不会自动执行此操作.)

Answer 2

我知道这是一个非常古老的问题，但您可能需要设置请求标头。这为我解决了它。

例如'user-agent', 'accept' 等，这里是一个用户代理的例子：

url = 'your-url-here'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
r = requests.get(url, headers=headers)

Answer 3

有很多原因，例如

• 服务器和客户端之间的网络链接可能暂时断开。
• 用完系统资源。
• 发送格式错误的数据。

要详细检查问题，可以使用Wireshark。

或者您可以重新请求或重新连接。