更新 BigQuery 永久外部表

Fed*_*sco 1 google-cloud-storage google-bigquery google-cloud-platform

我使用 BigQuery 将数据存储在“本机”BigQuery 表中,并查询存储在 Google Cloud Storage 中的数据。根据文档,可以使用两种类型的表来查询外部源:永久临时外部表。
考虑以下场景:每天都有一些镶木地板文件在 GCS 中写入,并且我想以一定的频率在存储在 BigQuery 表中的数据和存储在镶木地板文件中的数据之间进行 JOIN。如果我创建一个永久的外部表,然后我更新下面的文件,表的内容是否也会自动更新,还是必须从新文件中重新创建它?这种情况的最佳实践是什么?

Sou*_*hra 5

当您将新文件添加到云存储桶时,您不必再次重新创建外部表。唯一的例外是,如果新文件中的列数不同,则外部表将无法按预期工作。

您需要使用通配符来读取与特定模式匹配的文件,而不是提供静态文件名。例子:"gs://bucketName/*.csv"