xRo*_*bot -2 php wikipedia
我需要解析所有维基百科的网页.我怎样才能做到这一点？
我可以通过它的站点地图这样做吗？如果是这样,维基百科的网站地图在哪里？
RB.*_*RB. 5
Wikipedia允许您下载其数据库,而不是解析所有网页.这是首选方法,因为它通常会快得多,因为维基百科有超过400万篇文章.
这对维基百科来说也更公平,并且不会让你被他们阻止进行激进的爬行.请阅读此政策
归档时间：
12 年，9 月 前
查看次数：
264 次
最近记录：
12 年，8 月 前