允许抓取Javascript和CSS文件

Question

这是阻止还是允许谷歌机器人访问？

User-Agent: Googlebot
Allow: /*.js*

Allow: /*.css*

有人知道上面robots.txt格式阻止或允许谷歌Bot访问？

Answer 1

您的规则可行,但可能是允许规则允许抓取javascript和css资源的最简单形式:

User-Agent: Googlebot
Allow: .js
Allow: .css

这将允许像什么https://example.com/deep/style.css?something=1或https://example.com/deep/javascript.js,并留下了解释的其他搜索引擎没有多少空间.但是,如果你有一个比一揽子允许规则更具体的禁止规则,那么这将是优先的.例如,如果你有:

User-Agent: Googlebot
Disallow: /deep/
Allow: .js
Allow: .css

那么允许规则将不起作用,因为https://example.com/deep/javascript.js(但是会https://example.com/javascript.js).要在通常不允许的目录中允许JS和CSS文件,您可以:

User-Agent: Googlebot
Disallow: /deep/
Allow: /deep/*.js
Allow: /deep/*.css

完成此操作后,您可以在Search Console - 阻止资源功能中测试您的设置.