Lul*_*ulu 12 statistics logging delay amazon-s3 amazon-web-services
我最近在Amazon S3中托管,我需要日志文件来计算对象中"get","put","list"操作的统计信息.
而且我发现日志文件组织得很奇怪.我不知道日志何时出现(不是立即,至少在操作后20分钟)以及一行日志文件中将包含多少行日志.
之后,我需要下载这些日志文件并进行分析.但我无法弄清楚我多久会这样做.
有人可以帮忙吗？谢谢.
Jan*_*sky 17
您所描述的内容(日志文件可用延迟和不可预测的顺序)正是AWS声明的内容所行为.这是分布式系统的本质,AWS S3用于提供S3服务,每次可以从不同的服务器提供相同的请求 - 我已经看到提供5个不同的IP地址用于发布.
所以唯一的解决方案是:接受延迟,看看你经历的延迟,增加一些额外的时间,并学习生活这个总延迟(我希望有30到60分钟,但统计数据可以说明更多).
如果您需要订购日志记录,您可以自己排序,或者搜索一些日志处理解决方案 - 我已经看到一些应用程序正是为此目的提供的.
如果你真的需要让你的日志文件有很短的延迟,你必须自己制作日志,这意味着,你必须编写并运行一些前端,这样可以在S3上访问你的文件并同时保持根据需要记录.
我运行这样的解决方案,用户获取用户名和密码以及我的前端的URL.当他们发送请求时,我会评估,如果他们提供了正确的凭据,并且是否允许他们查看给定的资源,如果是,我会为该资源创建几分钟有效的临时URL,并将请求重定向到该资源.
但是这样的前端需要花钱(你必须在某个地方运行你的前端)并且不那么健壮,然后直接访问AWS S3.
祝你好运,露露.
| 归档时间： |
|
| 查看次数： |
6403 次 |
| 最近记录： |