hen*_*ald 4 robots.txt web-crawler
我无法阻止谷歌抓取一些导致错误的网址。
我想停下来
但允许
我尝试了project/*/download/pdf 但它似乎不起作用。有谁知道会怎样？
Joh*_*ica 5
/行首有 a 吗Disallow:？
/
Disallow:
User-agent: googlebot Disallow: /project/*/download/pdf
归档时间：
12 年，8 月 前
查看次数：
4712 次
最近记录：