我要抓取使用scrapy框架使用TLS v1.2的https://dms.psc.sc.gov/Web/dockets.但是在请求URL时,它无法加载和提升[<twisted.python.failure.Failure <class 'OpenSSL.SSL.Error'>>].
在git https://github.com/scrapy/scrapy/issues/981上讨论了一个问题,但它对我不起作用.我有scrapy v 0.24.5和扭曲版本> = 14.
当我尝试抓取另一个也使用TLS v1.2的网站时,它可以正常工作,但不适用于https://dms.psc.sc.gov.如何解决这个问题？
除了在scrapy中使用代理之外，还有其他选择吗？源站点已阻止我用于运行Spider的服务器。我已经添加ProxyMiddleware了项目并随机化了代理。但是问题是代理也被源站点阻止了。我还将设置DOWNLOAD_DELAY为5，但问题仍然存在。除了转移到新服务器之外，是否还有其他方法可以使用该站点而不使用代理？