相关疑难解决方法(0)

我有兴趣监控一些对象.我希望每15分钟获得大约10000个数据点.(也许不是一开始,但这是'一般球场').我还希望能够获得每日,每周,每月和每年的统计数据.将数据保持在最高分辨率(15分钟)超过两个月并不重要.

我正在考虑各种方法来存储这些数据,并且一直在查看经典的关系数据库,或者在无模式数据库(例如SimpleDB)上.

我的问题是,这样做的最佳方式是什么？我非常希望开源(和免费)解决方案成为专有的高成本解决方案.

小记:我正在用Python编写这个应用程序.

我想知道InnoDB是否是格式化表格的最佳方式？该表包含一个字段,主键,该表每天将获得816k行(est.).这将变得非常快!我正在研究文件存储方式(这会更快)吗？该表将存储已经处理过的Twitter ID的ID号？

还有,SELECT min('id')声明中估计的内存使用量是多少？非常感谢任何其他想法!

我以原始形式(csv和二进制)积累了大量数据 - 每天4GB,准确几个月.

我决定加入文明世界并使用数据库来访问数据,我想知道什么是正确的布局; 格式非常简单:每次勾选几次(出价,询问,时间戳等)x高达0.5万亿/天x数百种金融工具x数据.

有一个带有MYISAM的MySQL服务器(我知道这种用法是正确的引擎)在商用硬件上运行(2 x 1GB RAID 0 SATA,核心2 @ 2.7GHz)

什么是正确的数据库布局？表/索引应该如何？这种情况的一般建议是什么？你会预测到什么会给我带来陷阱？

编辑:我的常见用法是简单查询,以提取特定日期和工具的时间序列信息,例如

SELECT (ask + bid) / 2
  WHERE instrument='GOOG'
  AND date = '01-06-2008'
  ORDER BY timeStamp;

编辑:我试图将所有数据填入由timeStamp索引的一个表中但速度太慢 - 因此我认为它需要更精细的方案.

对于我正在开发的Web应用程序,我需要存储大量记录.每条记录将包含一个主键和一个(short-ish)字符串值.我希望有大约100GB的存储空间,并且希望能够全部使用它.

记录将被频繁插入,删除和读取,我必须使用MySQL数据库.数据完整性并不重要,但性能却是如此.我可能会遇到哪些问题和陷阱以及哪种存储引擎最适合这项任务？

非常感谢,J