我如何知道 Google 抓取我网站的频率？

Question

我已经创建了一个相对较新的网站，并将其提交给 google 和所有内容。我也使用谷歌的网站管理员工具。我想知道如何确定谷歌蜘蛛访问我网站的频率。我总是听到人们在论坛上谈论“我一小时要抓取 250 个页面”等等……有没有可以使用的软件？类似于 google 分析的 javascript 方法？或者有什么东西可以分析我的服务器的日志？谢谢

Answer 1

只需检查网络服务器日志，如果访问者的User-Agent请求标头匹配/包含Googlebot。有很多网络服务器日志分析工具，无论是免费的还是付费的。他们中的大多数还能够对机器人进行分类。从他们身上，我获得了Google Analytics 的最佳体验。