谷歌不会在s3上阅读我的robots.txt

Question

由于谷歌正在抓取我们的静态内容(存储在s3上),我们在根目录(存储桶)中创建了一个robots.txt ..如下

User-agent: *
Disallow: / 

现在,因为我们想要从谷歌搜索中删除现有内容..我们在谷歌网站管理员a/c中添加了桶..并要求删除目录

现在问题是谷歌不会识别或读取robots.txt(这需要将来阻止谷歌块)..我们在网站管理员工具中收到此消息

---

此网站不位于域的顶级.robots.txt文件仅在位于最高级别目录中时有效,并且适用于域中的所有目录.适用于您网站的robots.txt文件(如果存在)位于http://s3.amazonaws.com/robots.txt.此页面提供有关该文件的信息.

Answer 1

您为谷歌提供了哪个URL？您需要使用DNS样式 {bucket}.s3.amazonaws.com,而不是路径样式 s3.amazonaws.com/{bucket}.