BigQuery 将存储数据的位置

Question

我正在使用 BigQueryIO 从 Google Dataflow 作业将数据发布到 BigQuery。

AFAIK，BigQuery 可用于查询来自 Google Cloud Storage、Google Drive 和 Google Sheets 的数据。

但是当我们使用 BigQueryIO 存储数据时，数据将存储在哪里？它在 Google Cloud Storage 中吗？

Answer 1

简短回答 - BigQueryIO 向/从 BigQuery 表写入/读取

更深入一点：
BigQuery 以Capacitor列数据格式存储数据，并提供表、分区、列和行的标准数据库概念。

它管理存储结构化数据的技术方面，包括压缩、加密、复制、性能调整和扩展。

您可以阅读有关 BigQuery 不同组件的更多信息 BigQuery Overview

Answer 2

Cloud Storage 是一项独立于 Big Query 的服务。在内部，Big Query 管理自己的存储。

因此，如果您将数据保存到 Cloud Storage，然后使用命令bq从 Cloud Storage 中的文件加载 Big Query 表，则现在有 2 个数据副本。

后果包括：

• 如果您删除 Cloud Storage 副本，数据仍将位于 Big Query 中。
• 费用包括每份的价格。我认为 2017 年 4 月，BQ 的长期存储价格约为 0.01 美元/GB，云存储的价格约为 0.01-0.026 美元/GB，具体取决于存储类别。
• 如果 GCS 和 BQ 中都有相同的数据，则您需要支付两次费用。是否值得拥有数据备份副本取决于您。