是否存在类似于图形中的mipmap的数据存储模式？

Question

我们有一堆数据,用户可能想要查看窗口并快速完成.他们可能希望查看一天,一周,一个月或任意开始和结束数据的数据窗口.实时对所有这些东西进行排序和总结对我们来说是痛苦的,所以我想到了在3D渲染中做类似于Mipmaps的事情.您最终存储了以各种不同比例预先计算的相同数据,然后使用不同的比例插入结果.所以我已经知道了一年,某个月,某个星期和某个商店的特定日期的数字是什么,如果他们要求特定的范围,我会使用各种尺度快速添加一些给出正确的结果,但我没有必要重新处理完整的数据集,我只检索四或五个记录,并添加或减去它们.

这是一个真实的模式吗？它是否有任何意义,我可以阅读有关如何做到最好的地方,或者是否有更好的方法来处理大块数据,例如需要在不同的切片中查看？

看起来这应该是一个众所周知和解决的问题.例如,很多人都有股票投资组合,他们每天都需要这样做.我们的数据不是股票价格,但这个想法是一样的.

Answer 1

好吧，我又搜索又搜索，又搜索了一些。安迪·登特的链接让我开始将数据描述为“时间序列”，这对一些人有所帮助。然后我遇到了OLAP并意识到我正在做的是重新发明它。我知道这一定是一个众所周知的、彻底解决的问题，我是对的。OLAP 就是这样。

您构建了一堆聚合表，这些表沿着特定维度（在本例中为时间）聚合数据，您甚至可以获得像Mondrian这样的工具，它将接受用另一种查询语言（即不是 SQL）编写的查询以及一组事实表和聚合它将决定如何最好地对这些表执行查询。