BigQuery - 从 Google Cloud Storage 传输自动化 - 覆盖表

Question

这是这种情况：

• 我们的客户每天将 CSV（覆盖）上传到 Google Cloud Storage 中的存储桶（每个表在不同的文件中）。
• 我们在 DataStudio 中使用 BigQuery 作为数据源
• 我们希望将 CSV 自动传输到 BigQuery。

问题是，即使我们已经：

1. 使用“覆盖表”写入首选项声明 BigQuery 中的表
2. 将每日传输通过 UI（BigQuery > Transfers）配置为在文件上传到 Google Cloud 一小时后自动从 Google Cloud 上传 CSV，如限制所述。

默认情况下，自动传输/加载在“WRITE_APPEND”中，因此在 BigQuery 中附加表而不是覆盖。

因此，问题是：我们如何/在哪里可以改变

configuration.load.writeDisposition = WRITE_TRUNCATE

如说在这里，以覆盖该表时，CSV中自动加载？

我认为这就是我们所缺少的。

干杯。

Answer 1

上述内容都不适合我们，所以我发布此内容以防有人遇到同样的问题。

我们安排了一个查询，在自动导入过程开始之前删除表内容：

DELETE FROM project.tableName WHERE true

然后，新数据将被导入到空表中，因此默认的“WRITE_APPEND”不会影响我们。