Python抓取 - 请求更快

rau*_*aul 0 python web-crawler scrapy

如果可能的话,我需要进行Web抓取请求并尽快完成响应.

我来自Java语言.我使用了两个"框架",并没有完全满足我的意图.

Jsoup请求/响应速度快,但穿不完整的数据,当页面有很多的信息.在Apache的HttpClient的正是这样相反的,可靠的数据,但速度很慢.

我查看了一些Python模块,我正在测试Scrapy.在我的搜索中,我无法断定它是否是最快的并且一致地提供数据,或者是否存在其他更好,更冗长或更难的数据.

其次,Python是一个很好的语言用于此目的?

先感谢您.

Tom*_*mmy 5

给Scrapy +1票.在过去的几个星期里,我一直在编写大型汽车论坛的爬虫,Scrapy绝对令人难以置信,快速,可靠.