将 PostgreSQL 表流式传输到 Google BigQuery

Question

我想自动将数据从外部 PostgreSQL 数据库流式传输到我的 GCP 帐户中的 Google Cloud Platform BigQuery 数据库中。到目前为止，我已经看到可以使用该EXTERNAL_QUERY()函数查询外部数据库（MySQL 或 PostgreSQL），例如： https: //cloud.google.com/bigquery/docs/cloud-sql-federated-queries

但要实现这一点，数据库必须位于 GCP Cloud SQL 中。我尝试查看有哪些选项可以从外部 PostgreSQL 流式传输到 Cloud SQL PostgreSQL 数据库，但我只能找到有关在一次性副本中复制它的信息，而不是流式传输：https: //cloud.google.com/sql /docs/mysql/replication/从外部复制

我希望将此流式传输到 BigQuery 的原因是，我正在使用 Google Data Studio 从外部 PostgreSQL 创建报告，效果很好，但 GDS 只能接受来自 Google BigQuery 数据库的 SQL 查询参数。例如，如果我们有一个包含 1M 条目的表，并且我们希望用户添加 Google Data Studio 参数，则这将变成：

SELECT * from table WHERE id=@parameter;

这意味着查询速度会更快，并且不会达到 Google Data Studio 中的 100K 记录限制。

在外部 PostgreSQL（只读访问）和 Google BigQuery 之间创建连接的最佳方式是什么，以便在通过 BigQuery 查询时获得与查询外部 PostgreSQL 相同的实时结果？

Answer 1

也许您错过了谷歌云用户指南中所述的选项？

https://cloud.google.com/sql/docs/mysql/replication/replication-from-external#setup-replication

请注意，在本节中，它说：

“当您设置复制设置时，您还可以决定在初始导入完成后 Cloud SQL 副本是否应与源数据库服务器保持同步。应保持同步的副本处于在线状态。应保持同步的副本处于在线状态。只更新一次，离线。”

我怀疑在线模式就是您正在寻找的。