拒绝访问但允许机器人即谷歌到sitemap.xml

Question

是否有一种方法,您只能允许Google,Yahoo或其他搜索引擎机器人等机器人访问位于http://www.mywebsite.com/sitemap.xml的站点地图.这可能不允许用户直接访问但只允许机器人访问吗？

Answer 1

基本上没有,但你可以用user-agent字符串做一些事情并禁止访问(假设Apache)

<Location /sitemap.xml>
  SetEnvIf User-Agent GodBot GoAway=1
  Order allow,deny
  Allow from all
  Deny from env=!GoAway
</Location>

但正如它在这里所说的那样(我在哪里找到了语法)

警告:

User-Agent的访问控制是一种不可靠的技术,因为User-Agent标头可以根据最终用户的想法设置为任何东西.