高采样率数据的数据库设计,多个缩放级别的图形

Tim*_*Tim 4 charts database-design web-applications amazon-simpledb

我有多个传感器将数据提供给我的网络应用程序.每个通道每秒5个样本,数据在1分钟json消息(包含300个样本)中捆绑在一起.数据将使用flot以1到1分钟的多个缩放级别绘制成图形.

我正在使用Amazon SimpleDB,我目前正在将数据存储在我收到它的1分钟块中.这适用于高缩放级别,但是整天都会有太多行要检索.

我目前得到的想法是,每小时我都可以抓取数据并在最后一小时收集300个样本并将它们存储在另一个表中,基本上是对数据进行下采样.

这听起来像是合理的解决方案吗?其他人如何实施相同类型的系统?

Bar*_*ter 5

存储下采样数据是非常好的方法.看看munin如何存储它的图表 - 每天,mounthly,早期和日内图表分别存储在那里.

您可以将每分钟,每5分钟,每小时,每4小时,每天的数据存储在不同的表格中.由于您不传输您不需要的东西,因此只需存储每一分钟并且有很多好处,因此开销很少.