jos*_*tca 7 php web-crawler libcurl
我使用PHP(和cURL)创建了一个简单的Web爬虫.它解析了6万个html页面并检索了产品信息(它是内部网上的工具).
我主要担心的是并发连接.我想限制连接数,所以无论发生什么,爬虫永远不会使用超过15个并发连接.
每当达到IP的25个并发连接的限制时服务器阻止IP,并且由于某种原因,我无法在服务器端更改它,所以我必须找到一种方法来使我的脚本永远不会使用多于X个并发连接.
这可能吗？
或许我应该用另一种语言重写整个事情？
谢谢,任何帮助表示赞赏!
| 归档时间： |
|
| 查看次数： |
4417 次 |
| 最近记录： |