标签: log-analysis

在阅读了O'Reilly的一篇关于这个主题的文章之后,我想问Stack Overflow对这个问题的看法.

我想用goaccess解析和分析nginx日志,并从分析的日志中获取报告.但是,当我运行该zcat -f access.log.*.gz | goaccess -a -c命令时,它给我以下错误:

GoAccess - version 0.5 - Jun 26 2012 04:30:08
An error has occurred
Error occured at: parser.c - process_log - 584
Message: No date format was found on your conf file.

我试图将行添加date_format %D %T到.goaccessrc文件但我得到另一个错误,即:

GoAccess - version 0.5 - Jun 26 2012 04:30:08
An error has occurred
Error occured at: parser.c - process_log - 588
Message: No log format was found on your conf file.

我认为它要求nginx使用的日期和日志格式.但我的nginx配置中没有任何日期或日志格式.

另外,我试图使用以前版本的goaccess(0.4.2版本), …

哪个是最好的Postfix Log分析仪？我们正在为postfix寻找好的日志分析器.我们需要分析以下内容

1. 排队的邮件数量是多少？
2. 有多少邮件未送达？
3. 为什么不发送邮件？

是否可以查看所有邮件状态的主题而不是邮件ID？我的意思是审查单个邮件的状态.

我们现在正在使用Sawmill分析仪.但管理层对锯木厂的报告不满意,因为它缺少单一的信息状态和主题.

我有一个在azure App服务上托管的api应用程序.对于Web服务器日志(iis日志),我已经从Azure门户打开了Web服务器日志记录.请看下面的截图.

用于存储Web服务器日志记录

服务器日志仅允许存储在Azure blob容器中.根据配置,日志按预期存储在blob容器中.现在,我想使用这些日志显示在Azure Log Analytics上.

我在Azure Web门户中的Log Analytics上有以下存储配置.

在Log Analytics资源管理器中,我可以查看除Web服务器(iis日志)之外的所有其他来源的日志.我在这里缺少什么？

我可以为Glassfish日志文件获得一些好的日志分析软件的建议吗？由于它不会从应用程序服务器到应用程序服务器显着变化,我想所有服务器都有一个通用的解决方案.

谢谢

我有一个 JBoss 6 服务器正在运行，它会生成一个大日志文件。

是否存在允许我分析日志文件的工具（特定错误发生的频率？何时发生？有多少 INFO / WARNING / ERROR 消息，...）？

我听说过log4j，但它似乎只允许我为日志记录选项设置配置。我对吗？

如果没有 GUI 工具，您知道 Python/PHP 的库/模块/脚本可以帮助我解析日志文件吗？

我有一个很长的日志文件，用log4j, 10threads写入日志。我正在寻找日志分析器工具，它可以找到用户等待很长时间的行（即同一线程的日志条目之间的差异超过一分钟）。

PS 我正在尝试使用OtrosLogViewer，但它通过某些值（例如，通过线程 ID）进行过滤，并且不会在行之间进行比较。

PPS 新版本的 OtrosLogViewer 有一个“Delta”列，用于计算 adj 日志行之间的差异（以毫秒为单位）

谢谢你

我开发并维护了一个拥有2000多个用户的paywalled出版物.最常见的支持请求与登录有关.大多数情况下,这些可以通过几个支持电子邮件来解决.但是,每隔一段时间,就会有一个奇怪的用户无法登录.作为最后的手段,支持人员会重置用户密码,验证他们可以自己登录并将新凭据发送给用户.我们偶尔会遇到仍然无法登录的用户.此时我没有使用故障排除工具.

所以我想要一个工具:

1. 完整记录所有HTTP请求(用户密码除外).

2. 让我在日志中搜索包含用户名的登录页面的POST请求.

3. 让我看看在特定时间范围内我在步骤2中找到的IP地址的所有请求,然后非常密切地分析这些请求.

而且我需要能够进行智能日志轮换,例如:"坚持使用30 GB的所有东西,然后开始抛弃旧的东西".

我们的出版物恰好是用Django和nginx构建的,但我不认为我正在寻找的工具将特定于这些工具.我绝对不希望将所有请求数据都放在与我的Django应用程序相同的SQL数据库中.

到目前为止,我已经找到了Logstash,但我还没有仔细研究它是否适合我.对我来说重要的是不要获得所有用法,用户趋势,转换渠道等的精确图表.我需要的是更好地解决影响单个用户的问题的方法.

我正在使用OtrosLogViewer来分析我的glassfish日志文件.但似乎软件无效.我认为我的模式是错误的.

type=log4j
customLevels=SEVERE=FATAL,WARNING=WARN,CONFIG=INFO,FINE=DEBUG,FINER=TRACE,FINEST=TRACE,INFO=INFO
pattern=[#|TIMESTAMP|LEVEL|PROP(ProductName-Version)|LOGGER|_ThreadID=PROP(ThreadID);_ThreadName=THREAD;PROP(Properties);|MESSAGE|#]
dateFormat=yyyy-MM-dd'T'HH:mm:ss.SSSZ
name=GlassFish logger
charset=UTF-8

这是我的服务器日志示例(Glassfish 4.0):

[2013-10-13T17:36:03.841+0700] [glassfish 4.0] [WARNING] [endpoint.activation.failure] [javax.enterprise.resource.resourceadapter.com.sun.enterprise.connectors.inbound] [tid: _ThreadID=34 _ThreadName=admin-listener(1)] [timeMillis: 1381660563841] [levelValue: 900] [[
RAR8501: Exception during endpoint activation for ra [ jmsra ], activationSpecClass [ com.sun.messaging.jms.ra.ActivationSpec ] : javax.resource.ResourceException: MQRA:EC:Invalid destinationLookup jms/NewMessage configured in ActivationSpec of MDB for no JNDI name found]]

[2013-10-13T17:36:03.841+0700] [glassfish 4.0] [SEVERE] [containers.mdb.create_container_exception] [javax.enterprise.system.container.ejb.mdb.org.glassfish.ejb.mdb] [tid: _ThreadID=34 _ThreadName=admin-listener(1)] [timeMillis: 1381660563841] [levelValue: 1000] [[
MDB00017: [NewMessage]: Exception in creating message-driven bean container: [java.lang.Exception]]]

如何修改我的模式使其工作？我对OtrosLogViewer的模式很困惑.

谢谢.

我需要使用x对数刻度在R图中用ggplot2包绘制一些负值.

例如,我想使用x对数标度绘制这些点

x <- c(-1,-10,-100)
y <- c(1,2,3)

我知道R中的负值的对数代表NA值,但我需要这样的结果:点击查看图片

是否可以使用ggplot2？

为了对抗僵尸网络攻击,我试图分析一个nginx access.log文件来查找最常用的用户代理,这样我就可以找到罪犯并拒绝它们.我怎样才能做到这一点？

分析日志是一个主要问题。如果你有一个遗留代码和成百上千的查询在运行，你肯定会对改进什么、改进哪里以及改进多少感到困惑，因为在你将投入多少努力之间总是需要权衡在某个优化问题上。

那么，第一步是分析我们哪里出错了。这只能通过正确分析日志来实现。没有它，您可能不知道您的应用程序到底出了什么问题。

那么你如何分析 MySQL 日志呢？

我目前正在设置服务器,该服务器生成报告并将其上传到外部SFTP.我需要一个可以免费使用并在Linux服务器上运行的日志分析器.哪一个是最好的解决方案？

我读了很多关于SumoLogic的内容,但不确定这是否是可以使用的工具..？