Bigtable 还是 Datastore 更适合存储和使用在线应用程序的财务数据？

Question

我正在创建一个股票分析 Web 应用程序。我想存储多只股票的财务数据。然后我想对它们使用股票筛选器。该筛选器涉及从后端检索多只股票并对它们进行技术指标测试。通过指标测试的股票将返回给用户。假设我想存储一个 pandas.dataframe 例如 Stock：

          open    high      low   close    volume
date                                                 
2017-08-01  247.46  247.50  246.716  247.32  55050401
2017-08-02  247.47  247.60  246.370  247.44  47211216
2017-08-03  247.31  247.34  246.640  246.96  40855997
2017-08-04  247.52  247.79  246.970  247.41  60191838
2017-08-07  247.49  247.87  247.370  247.87  31995021
....

我一直在使用数据存储。我为每只股票创建实体，将键设置为股票代码。我使用这样的模型：

from google.appengine.ext import ndb

class Stocks(ndb.Model):
    dates  = ndb.StringProperty(repeated=True)
    open   = ndb.FloatProperty(repeated=True)
    high   = ndb.FloatProperty(repeated=True)
    low    = ndb.FloatProperty(repeated=True)
    close  = ndb.FloatProperty(repeated=True)
    volume = ndb.FloatProperty(repeated=True)

然后我检索多个实体以通过技术指标检查进行循环：

import numpy

listOfStocks = ndb.get_multi(list_of_keys)
for stock in listOfStocks:
  doIndicatorCheck(numpy.array(stock.close))

我想查询股票，进行指标检查，然后尽快将结果返回给用户。我应该使用 Bigtable 还是 Datastore 就可以？如果数据存储没问题，这是理想的方法吗？

提前致谢。

Answer 1

披露：我是 Cloud Bigtable 的产品经理。

\n\n

如果您计划拥有大量金融数据，覆盖整个股票市场，Cloud Bigtable 是一个不错的选择：它可以扩展到 TB 和 PB 级，并且您可以获得对您的请求的低延迟响应，它已经在使用金融、风险和反欺诈应用程序，并通过其三维本身支持时间序列。请参阅此博客文章和视频，了解 FIS 如何使用 Cloud Bigtable 投标 SEC CAT 项目。

\n\n

也就是说，Cloud Bigtable 在单个集群中是强一致的，但如果您使用复制，则最终一致，因此您必须牢记这一点。如果您的用户期望强一致性，您的选择是：

\n\n

\n
• 使用单个集群实例（仅在单个区域内复制）
\n
• 如果您使用跨区域复制，请通过应用程序配置文件将请求路由到单个集群
\n
• 考虑使用提供强一致性的不同系统
\n

\n\n

Firestore 将为您的应用程序提供具有强一致性的无服务器文档数据库，因此如果这对您的用例很重要，您应该考虑 Firestore。

\n\n

如果您希望能够对数据运行 SQL 查询，请考虑：

\n\n

\n
• Google Cloud SQL \xe2\x80\x94 托管 MySQL 或 PostgreSQL
\n
• Google Cloud Spanner \xe2\x80\x94 PB 级事务性数据库
\n
• 谷歌大查询 \xe2\x80\x94 无服务器数据仓库
\n

\n\n

希望这可以帮助！

\n