可以通过谷歌抓取301页面吗？

Question

谷歌或任何其他抓取工具是否可以抓取并索引返回301状态代码的网页？

我在谷歌看过一个页面,它已经有301个月了.但是,索引中该页面的缓存日期是几天前的.

可以谷歌只是忽略301并抓取页面的内容？

Answer 1

通常,Google会抓取重定向到的网页.您看到的网站有两种可能的解释:

• 该网站只显示301消息,而不是正确返回HTTP标头.
• 该网站重定向到另一个301,重定向到另一个301,...

在Youtube上观看此视频.

Answer 2

Google 总是抓取重定向的目标，HTTP 301 也不例外。不过，找不到比一位员工的讨论帖子更好的来源了。Google Search Appliance 文档也有同样的说法，但我不明白为什么 GSA 和 GoogleBot 应该以不同的方式处理重定向。