计算忽略搜索引擎的页面的视图数量？

Question

我注意到StackOverflow对每个问题都有一个视图计数,并且这些视图编号相当低且准确.

我的一个网站上有类似的东西.每当页面加载到后端代码中时,它基本上都会记录"命中".不幸的是,它也为搜索引擎命中率提供了膨胀和不准确的数字.

我想一种不计算机器人的方法是在页面加载后用AJAX调用进行视图计数,但我确信还有其他更好的方法可以忽略搜索引擎中的搜索引擎,同时仍让它们进入抓取您的网站.你知道任何？

Answer 1

AJAX 调用会做到这一点，但通常搜索引擎不会加载图像、javascript 或 CSS 文件，因此在页面中包含这些文件之一可能更容易，并传递您想要记录请求的页面的 URL作为文件请求中的参数。

例如，在页面...

http://www.example.com/example.html

您可能包含在 head 部分

<link href="empty.css?log=example.html" rel="stylesheet" type="text/css" />

并让您的服务器端记录请求，然后返回一个空的 css 文件。相同的方法适用于 JavaScript 或图像文件，但在所有情况下，您都需要仔细查看可能发生的缓存。

另一种选择是消除基于用户代理的搜索引擎。http://user-agents.org/上有大量可能的用户代理列表，可以帮助您入门。当然，你可以走另一条路，只计算来自你所知道的 Web 浏览器的请求（包括 IE、Firefox、Safari、Opera 和这个新奇的 Chrome 东西会让你达到 99%）。

使用像awstats这样的日志分析工具或像Google Analytics这样的服务更容易，这两者都已经解决了这个问题。