我如何处理巨大的日志文件？

Question

我正在运行 SSD 服务器，因为我在性能方面拥有丰富的经验。但是，我的网络服务器可以处理大量请求，并且有一天未压缩的日志文件往往会超出数据库的范围。

我有通常的标准格式 Web 服务器日志文件。

有没有办法“即时”压缩它们？

Answer 1

对数旋转

此实用程序可以在重命名和压缩日志时自动通知您的守护程序切换日志。由于每天不够，您也可以每小时运行一次。即使每小时记录一次，您仍然可以在使用 GZip 压缩后按天连接它们。

压缩文件系统

Btrfs可以设置透明加密，在后台自动节省空间。其他一些文件系统（ZFS等）也可以实现这一点。

压缩管

Apache将直接登录到管道，大多数应用程序将写入名称管道 ( mkfifo)，您可以将其附加到您的压缩程序。