仪表板后端的 BigQuery 与 Cloud SQL

Question

我对 BQ 与 Cloud SQL 用例有点困惑。我在 BQ 中有几 Gbs 的行数据，需要在该数据上构建 Web 仪表板（SQL 与多个表的 JOIN）。

直接从 BQ 查询数据是否有很大的缺点（例如延迟或并发），我应该将数据移动到 Cloud SQL(pSQL) 并进行查询吗？

数据不是实时的。我预计最多有几百个并发请求。

我不希望这方面的成本很高，因此查询速度和可靠性是主要目标。

谢谢！

Answer 1

BigQuery 非常适合快速存储和查询大型数据集。

另一方面，Google Cloud SQL 主要基于关系数据库管理系统 (RDBMS) 概念。它提供对 MySQL 和 PostgreSQL 的支持。

然而，Big Query 最适合分析，但也可以处理事务数据。BigQuery 非常快，肯定比 CloudSQL 中的查询快，因为 BigQuery 是一个数据仓库，能够查询异常大的数据集以立即返回结果。当您必须处理非常大的数据集时，BigQuery 将是更便宜的数据库。Cloud SQL MySQL 或 PostgreSQL 最多只能处理30,720 GB，具体取决于 MySQL 的机器类型或实例是否具有 PostgreSQL 的专用或共享 vCPU，而 BigQuery 没有这种存储限制。另请参阅BigQuery 的其他配额和限制。

话虽如此，如果您没有正确构建查询，BigQuery 的费用可能会迅速增加，因为它过于频繁地遍历过多数据。

Cloud SQL 和 BigQuery 的定价不同，请参阅Cloud SQL和BigQuery的定价页面了解更多详情。

我看到此链接将 BigQuery 的某些功能与 CloudSQL 进行了比较。我认为文章中分享的细节可能会有所帮助。

通常，Cloud SQL 是一种关系数据库，更适用于交易目的，而另一方面 BigQuery 是分析数据仓库，适用于分析、数据可视化、商业智能和/或机器学习等。因此，如果您的目的是为交易目的存储数据，那么 Cloud SQL 将是一个选择，但是，如果您存储数据用于分析目的，那么 BigQuery 是要走的路。

Answer 2

数据不是实时的。我预计最多有数百个并发请求。

值得注意的是BQ 配额限制，在本例中是并发查询数和API 请求数。如果有数百个并发请求，您可能会达到极限。