BigQuery - 创建外部表

Question

如何在BigQuery中使用CREATE EXTERNAL TABLEDDL语句？

另一个大数据仓库解决方案，如 SnowFlake 和 Hive Based（Presto、AWS Athena...）都有它，而且它非常有用。

Answer 1

2020 年 10 月 14 日更新，CREATE EXTERNAL TABLE今天发布。

CREATE EXTERNAL TABLE dataset.table 
OPTIONS (
  format = 'NEWLINE_DELIMITED_JSON',
  uris = ['gs://bucket/*.json']
);

CREATE EXTERNAL TABLE 选项在 BigQuery 中不可用，但作为替代方案，您可以使用 BigQuery 命令行界面来实现此目的：

创建表定义文件：

$ bq mkdef --autodetect --source_format=NEWLINE_DELIMITED_JSON "gs://gcp-bucket/*.json" > myschema

创建外部表：

$ bq mk --external_table_definition=myschema bq_dataset.bq_ext_table

文档链接： https:
//cloud.google.com/bigquery/external-data-sources