Sha*_*bie 4 robots.txt ultraseek fast-esp
只是想知道是否可以禁止整个网站的抓取工具,只允许特定的网页或部分？FAST和Ultraseek等爬虫是否支持"允许"？
有一个允许指令但是不能保证特定机器人会支持它(很像是不能保证机器人甚至会检查你的robots.txt开始).您可以通过检查您的博客来判断特定机器人是否只为您允许的网站部分编制索引.
仅允许网站的特定页面或部分的格式可能如下所示:
Allow: /public/section1/
Disallow: /
这(应该)阻止机器人抓取或索引除/ public/section1下的内容以外的任何内容
| 归档时间： |
|
| 查看次数： |
7617 次 |
| 最近记录： |