相关疑难解决方法(0)

您将如何解决以下存储和检索问题？

每天(365天/年)将添加大约2.000.000行,每行包含以下信息:

• id(唯一行标识符)
• entity_id(取值介于1和2.000.000之间)
• date_id(每天增加一个 - 将取1到3.650之间的值(十年:1*365*10))
• value_1(取值介于1和1.000.000之间)
• value_2(取值介于1和1.000.000之间)

entity_id与date_id相结合是唯一的.因此,每个实体和日期最多只能有一行添加到表中.数据库必须能够保存10年的每日数据(7.300.000.000行(3.650*2.000.000)).

上面描述的是写模式.读取模式很简单:所有查询都将在特定的entity_id上进行.即检索描述entity_id = 12345的所有行.

不需要事务支持,但存储解决方案必须是开源的.理想情况下我想使用MySQL,但我愿意接受建议.

现在 - 您将如何解决所描述的问题？

更新:我被要求详细说明读写模式.写入表将每天一批完成,新的2M条目将一次性添加.读取将连续进行,每秒读取一次.

我想知道InnoDB是否是格式化表格的最佳方式？该表包含一个字段,主键,该表每天将获得816k行(est.).这将变得非常快!我正在研究文件存储方式(这会更快)吗？该表将存储已经处理过的Twitter ID的ID号？

还有,SELECT min('id')声明中估计的内存使用量是多少？非常感谢任何其他想法!