复制还是？

Question

最近，我们受到了 Google Bots 和各种其他机器人的打击（我们平均体验的网站流量的 60% 来自机器人。我们正在尝试将 Google Bot 流量细分到不同的服务器（低成本服务器） ）。但是，数据库要么需要复制/或镜像。如果我们想要接近实时，有没有比另一种更好的解决方案？我们目前在 SAN 上拥有生产服务器的数据。我们可以复制这个，但是那个更像是快照复制。

Answer 1

不要“分割”蜘蛛。

试图“分割” WWW 蜘蛛是在对抗 WWW 蜘蛛所有者，他们希望他们的蜘蛛尽可能地看到其他人看到的东西。沿着那条路线走下去，你会发现自己与蜘蛛主人不断进行军备竞赛。

检查您的网站设计。

高蜘蛛流量有时是不良网站设计的症状。例如：URL 包含会话 ID 的超链接将导致蜘蛛多次查看和抓取单个页面。检查您的内容 HTTP 服务器日志，了解蜘蛛流量的实际情况。如果内容被一遍又一遍地抓取，仅因会话 ID 之类的内容而异，那么请调整您的网站，以免出现此问题。请参阅Google 的技术指南，了解更多与此相关的错误以检查和修复。

使用提供给您的工具作为最后的手段。

谷歌在其网站管理员工具中为其抓取速度提供了一个调节旋钮。 如果您已检查您的网站是否符合技术指南，并且您的网站设计不是高抓取流量的根本原因，请使用网站站长工具。但请注意，如果您每 90 天都必须这样做，以降低对静态内容的抓取速度，那么您的网站设计很可能存在您尚未发现并修复的问题。