小编rau*_*aul的帖子

Python抓取 - 请求更快

如果可能的话,我需要进行Web抓取请求并尽快完成响应.

我来自Java语言.我使用了两个"框架",并没有完全满足我的意图.

Jsoup请求/响应速度快,但穿不完整的数据,当页面有很多的信息.在Apache的HttpClient的正是这样相反的,可靠的数据,但速度很慢.

我查看了一些Python模块,我正在测试Scrapy.在我的搜索中,我无法断定它是否是最快的并且一致地提供数据,或者是否存在其他更好,更冗长或更难的数据.

其次,Python是一个很好的语言用于此目的?

先感谢您.

python web-crawler scrapy

0
推荐指数
1
解决办法
565
查看次数

标签 统计

python ×1

scrapy ×1

web-crawler ×1