根据这个页面
User-agent或Disallow行不支持globbing和正则表达式
但是,我注意到stackoverflow robots.txt包含像*和?这样的字符.在URL中.是否支持这些?
此外,URL是否包含尾部斜杠,或者这两个是等效的吗?
Disallow: /privacy Disallow: /privacy/
robots.txt
robots.txt ×1