从 BigQuery 连接到 Cloud SQL 服务器实例

Question

有一个选项可以从 BigQuery 连接 Cloud mySQL 实例。我只是想知道如何将 Cloud SQL Server 实例连接到 BigQuery。

Answer 1

SQL服务器：

有许多第三方扩展/工具提供此服务。其中之一是 Google BigQuery 的 SSIS 数据流源和目标，它是 Visual Studio 扩展，通过 SSIS 工作流将 SQL Server 与 Google BigQuery 数据连接起来。：

• https://www.cdata.com/drivers/bigquery/ssis/
• https://marketplace.visualstudio.com/items?itemName=CDATASOFTWARE.SSISDataFlowSourceDestinationforGoogleBigQuery

关于使用 SQL Server Integration Services 将数据从本地 SQL Server 加载到 BigQuery，您可以查看此站点。您还可以使用 Cloud Dataflow 将关系数据库执行 ETL 到 BigQuery，官方文档详细介绍了如何完成此操作，您可能需要使用 Cloud Storage 作为中间数据接收器。

云SQL：

BigQuery 允许使用联合查询从 Cloud SQL 查询数据。必须在 Cloud SQL 实例所在的同一项目中创建连接。如果您想从另一个项目中的 BigQuery 查询存储在 Cloud SQL 实例中的数据，请按照下面列出的步骤操作：

1. 在项目中启用 BigQuery API 和 BigQuery 连接 API。

2. 按照本文档创建与项目内 Cloud SQL 实例的连接。

3. 创建连接后，请在BigQuery中找到并选择它。

4. 单击该SHARE CONNECTION按钮并向将使用该连接的用户授予权限。请注意，该BigQuery Connection User角色是使用共享连接所需的唯一角色。

此外，请注意，“Cloud SQL 联合查询”功能处于 Beta 阶段，可能会发生变化或支持有限（某些区域不可用，在这种情况下，需要使用此处提到的支持选项之一）。请记住，要在 BigQuery 中使用 Cloud SQL 联合查询，实例需要具有公共 IP。

如果您受到区域等限制，一个不错的选择可能是将数据作为CSV从 CloudSQL 导出到存储，然后将其加载到 BigQuery 中。如果您需要，可以使用 Cloud Composer 自动执行此过程，请参阅本文。

另一种方法是从 Cloud SQL（带导出）中提取信息，然后通过加载作业或流式插入将其导入 BigQuery。

我希望上述信息对您有用。