存储时间序列数据的最佳开源解决方案是什么？

Question

我有兴趣监控一些对象.我希望每15分钟获得大约10000个数据点.(也许不是一开始,但这是'一般球场').我还希望能够获得每日,每周,每月和每年的统计数据.将数据保持在最高分辨率(15分钟)超过两个月并不重要.

我正在考虑各种方法来存储这些数据,并且一直在查看经典的关系数据库,或者在无模式数据库(例如SimpleDB)上.

我的问题是,这样做的最佳方式是什么？我非常希望开源(和免费)解决方案成为专有的高成本解决方案.

小记:我正在用Python编写这个应用程序.

Answer 1

HDF5可以通过h5py或PyTables访问,用于处理非常大的数据集.两个接口都运行良好.例如,h5py和PyTable都有自动压缩并支持Numpy.

Answer 2

绝对是Tobi Oetiker的RRDTool!它是开源的,它专为这种用例而设计.

编辑:

提供一些亮点:RRDTool将时间序列数据存储在循环数据库中.它保留给定时间段内的原始数据,然后以可配置的方式压缩它,这样您就可以获得一个月的细粒度数据,过去6个月中一周的平均数据,以及最后一个月的平均数据. 2年.作为副作用,您的数据库始终保持相同的大小(因此,磁盘可能无法满溢出汗).这是存储方面.在检索方面,RRDTool提供的数据查询可立即转换为图形(例如png),您可以将其轻松包含在文档和网页中.它是一个坚如磐石,经过验证的解决方案,与其前身MRTG(有些人可能已经听说过)相比,它是一种非常普遍的形式.一旦你进入它,你会发现自己一遍又一遍地重复使用它.

有关快速概述以及谁使用RRDTool,请参见此处.如果您想查看可以生成哪种图形,请确保查看图库.