大型 Amazon S3/Cloudfront 日志的 Webstats？

Question

我试图找到一种方法来解析我们的 Amazon S3 访问日志以获取一些 webstats。

我一直在尝试使用 AWStats 7，但是在给定月份的第 9 天之后，由于内存不足，它无法处理更多日志。这台服务器有 4gigs 的内存

我们的 S3 日志相当大（~1gig/天），很快 CloudFront 日志可能会达到 10-20gigs/天。

是否有任何软件可以从 S3（以及很快的 cloudfront）日志生成 webstats？

我知道 s3stat.com，但我想要一些我可以自己运行的东西。

Answer 1

我建议使用GoAccess。我们在大约 35 分钟内解析了大约 1.2 亿次点击，这比 awstats 快得多。看起来它并没有消耗很多内存。(< 1GB) 它在 8GB RAM 系统上运行。

不过你应该尝试一下。