将 GCP PostgreSQL 表同步到 GCP BigQuery

Question

我们目前正在使用 Stitchdata 定期将数据从 PostgreSQL 实例同步到 BigQuery 实例。该数据用于构建报告。Stitchdata 允许使用一些复选框和选项构建管道，而无需编码。

我想知道 Google Cloud Platform 是否提供了允许 PostgreSQL 数据库（由 GCP 托管）同步到 BigQuery 表的解决方案。这是出于数据主权和用户数据隐私问题的目的。

我们不想使用，federated queries因为我们只想将某些列从 PostgreSQL 导入到 BigQuery。

我看过：

• Datastream + Data Fusion（Datastream 尚不支持 Postgres）
• BigQuery 数据传输 + Fivetran Postgres 连接器（这将导致数据传输到第三方处理器。）
• 数据融合（PostgreSQL 不支持复制）

我很好奇我是否遗漏了 Google Cloud Platform 提供的将 PostgreSQL 数据库中的数据同步到 BgigQuery 的任何明显明显的内容。

干杯

Answer 1

GCP Datastream 现在支持从 PostgreSQL 到 BigQuery 的 CDC。目前我们遇到了一些问题。例如，不可能在 BigQuery 端使用分区表，bcs Datastream 创建它们，我们无法控制此操作。如果我们从 PostgreSQL 同步一个非常大的表，然后构建一些 ETL，我们将扫描大量数据。