标签: logparser

随着 Stack Overflow 的发展，我们开始仔细查看我们的 IIS 日志以识别有问题的 HTTP 客户端——例如流氓网络蜘蛛、设置大页面每秒刷新的用户、编写不当的一次性网络抓取工具、棘手的问题尝试增加页面的用户数以百万计，依此类推。

我提出了一些LogParser查询，当指向 IIS 日志文件时，它们可以帮助我们识别大多数奇怪和异常情况。

按 URL 划分的最高带宽使用率

SELECT top 50 DISTINCT 
SUBSTR(TO_LOWERCASE(cs-uri-stem), 0, 55) AS Url, 
Count(*) AS Hits, 
AVG(sc-bytes) AS AvgBytes, 
SUM(sc-bytes) as ServedBytes 
FROM {filename} 
GROUP BY Url 
HAVING Hits >= 20 
ORDER BY ServedBytes DESC

url 命中 avgbyte 服务
------------------------------------------------- - ---- ------- -------
/favicon.ico 16774 522 8756028
/content/img/search.png 15342 446 6842532

URL 的热门点击次数

SELECT TOP 100 
cs-uri-stem as Url, 
COUNT(cs-uri-stem) AS Hits 
FROM {filename} 
GROUP …

使用 ASP.NET 会很好，但 PHP 也可以，并且应该托管在 IIS6 中。

编辑：日志来自我们的内部网站。

谁能推荐我一个分析鱿鱼日志的好工具？

我目前正在使用SARG。有什么更好的吗？
我需要轻松查看哪些网站被访问/拒绝、何时以及由谁访问。

有一个鱿鱼分析仪列表。其中一些似乎已经过时。
Squid：日志文件分析

我怎样才能得到这个图：

（来自加速 StackExchange）

它显示了超过 N 秒的 Web 请求百分比。我安装了 IIS 日志和 LogParser，但不确定如何继续。

我在 Windows 上寻找类似 logparser 的东西。要求：

• 简单的工具，而不是像章鱼或某事这样的引擎，
• 能够选择消息部分中的文本，
• 从上次搜索的检查点开始在日志中搜索。

任何的想法？