由于谷歌正在抓取我们的静态内容(存储在s3上),我们在根目录(存储桶)中创建了一个robots.txt ..如下
User-agent: *
Disallow: /
现在,因为我们想要从谷歌搜索中删除现有内容..我们在谷歌网站管理员a/c中添加了桶..并要求删除目录
现在问题是谷歌不会识别或读取robots.txt(这需要将来阻止谷歌块)..我们在网站管理员工具中收到此消息
此网站不位于域的顶级.robots.txt文件仅在位于最高级别目录中时有效,并且适用于域中的所有目录.适用于您网站的robots.txt文件(如果存在)位于http://s3.amazonaws.com/robots.txt.此页面提供有关该文件的信息.