相关疑难解决方法(0)

robots.txt网址格式

根据这个页面

User-agent或Disallow行不支持globbing和正则表达式

但是,我注意到stackoverflow robots.txt包含像*和?这样的字符.在URL中.是否支持这些?

此外,URL是否包含尾部斜杠,或者这两个是等效的吗?

Disallow: /privacy
Disallow: /privacy/
Run Code Online (Sandbox Code Playgroud)

robots.txt

6
推荐指数
1
解决办法
1244
查看次数

标签 统计

robots.txt ×1