Zab*_*abs 3 indexing search robots.txt
这是正确的方法 - 下面是我的txt文件,这会阻止谷歌索引我的管理目录以及oldpage.php吗？
User-agent: *
Allow: /
Disallow: /admin/
Disallow: http://www.mysite.com/oldpage.php
是的,除了单个文件限制外,你绝对正确.
User-agent: * :表示所有爬虫
Allow: / :允许访问完整网站
Disallow: /admin/ :限制到管理目录
Disallow: /oldpage.php :限制为oldpage.php
| 归档时间： |
|
| 查看次数： |
1199 次 |
| 最近记录： |