附加到S3(或任何其他AWS服务)中的日志文件

Question

我需要在AWS S3(或任何其他可以提供帮助的AWS服务)中创建日志文件.AFAIU无法在S3中的现有日志文件中附加一行.这意味着每次新消息到来时我都需要检索并重新发送整个日志,或者我需要为每条消息创建一个新对象.检索数据时,后一选项很复杂.

我有很多日志消息,重要的是不要丢失它们,因此不能选择在服务器内存中缓冲它们并偶尔发送到S3.

哪种AWS服务是我的最佳选择(也就是节省成本).

Answer 1

您正在寻找的是EBS(弹性块存储).

您可以将EBS驱动器连接到任何服务器,并开始在那里进行日志记录.如果您的服务器死机,EBS磁盘仍然存在,您可以稍后查看数据.

更好的是,只需创建一个中央系统日志服务器(带有EBS驱动器),并让所有(无状态)应用服务器在那里发送其日志.

当您的EBS驱动器填满时,将日/周/等存档到S3日志中.这使您可以在S3中存储相当大的文件(如果需要,甚至可以进行压缩).

Answer 2

AWS SimpleDB可以满足您的需求:

http://aws.amazon.com/simpledb/usecases_logging/

由于Amazon SimpleDB允许您完全卸载运行生产数据库所需的工作,因此许多开发人员发现它是一个理想的低触摸数据存储,用于记录有关条件或事件,状态更新,重复活动,工作流程或设备和应用程序的信息状态.Amazon SimpleDB使您可以经济高效地"设置并忘记"这些数据日志,并将其用于各种目的,例如:

监控或跟踪计量业务分析趋势审计存档或法规遵从性应用示例包括:

集中存储服务器日志以减少每个正在运行的服务器上消耗的空间记录操作指标或持续性能测试的结果以供以后分析审计应用程序或联网设备的访问条目或配置更改捕获和监视环境条件(温度,压力水平,湿度) (等)在各个位置和针对特定条件的编程警报记录和跟踪有关对象的地理定位信息或工作流中活动的进程状态Amazon SimpleDB的多个属性使其成为数据日志的有吸引力的数据存储:

具有高可用性的中央 - 如果您的数据日志以前被本地存储在多个设备/对象,应用程序或流程孤岛中,您将享受到能够在云中的一个位置集中访问您的数据的好处.此外,Amazon SimpleDB会自动和地理冗余地复制您的数据,以确保高可用性.这意味着,与集中式内部部署解决方案不同,您不会使用Amazon SimpleDB创建单点故障,并且您的数据将在您需要时存在.所有数据都可以通过一个解决方案通过Web服务请求存储,然后由任何设备访问.零管理 - 您使用简单的Web服务请求存储数据项,Amazon Web Services负责其余的工作.

经济高效 - Amazon SimpleDB收取低廉的价格来存储和查询您的数据日志.由于您只为所使用的资源付费,因此您无需进行自己的容量规划或担心数据库负载.该服务仅在响应请求量时响应,仅向您收取实际消耗的资源.要了解有关Amazon Si的更多信息