如果可能的话,我需要进行Web抓取请求并尽快完成响应.
我来自Java语言.我使用了两个"框架",并没有完全满足我的意图.
该Jsoup有请求/响应速度快,但穿不完整的数据,当页面有很多的信息.在Apache的HttpClient的正是这样相反的,可靠的数据,但速度很慢.
我查看了一些Python模块,我正在测试Scrapy.在我的搜索中,我无法断定它是否是最快的并且一致地提供数据,或者是否存在其他更好,更冗长或更难的数据.
其次,Python是一个很好的语言用于此目的?
先感谢您.
python web-crawler scrapy
python ×1
scrapy ×1
web-crawler ×1