用于财务分析的数据存储

use*_*404 5 database data-warehouse monetdb greenplum infobright

我正在建立系统来分析有关证券交易价格的大量金融数据.这方面的一个重大挑战是确定数据将使用哪种存储方法,因为数据将在10的TB级中.将对数据进行许多查询,例如取平均值,计算标准偏差以及按多个列过滤的总和,例如价格,时间,数量等.连接语句不是必需的,但是很高兴.

现在,我正在寻找infobright社区版,monetdb和greenplum社区版用于评估目的.到目前为止,它们看起来很棒,但是对于更高级的功能,某些版本中不提供某些功能(使用多个服务器,插入/更新语句等).

您将在这种情况下使用哪些解决方案,并为替代方案提供哪些好处?具有成本效益是一个重要的优点.如果我必须支付数据仓库解决方案,我会,但我宁愿避免它,并尽可能采用开源/社区版路线.

小智 1

Infobright 可提供快速查询性能,无需对大量数据进行调整、投影和索引。在数据加载方面,我见过每小时可以加载 80TB 数据的实例,每秒插入超过 12,000 次。

它是如何工作的?

  1. 列方向与行方向
  2. 数据包加上平均压缩率为 20:1
  3. 知识网格 - 对查询的亚秒级响应
  4. 粒度引擎,构建在 mysql 架构之上

我仍然建议您考虑考虑企业许可,但您当然可以评估社区版并根据它测试您的性能和数据加载需求。

免责声明:作者隶属于 Infobright。