使用命令行工具从Google Cloud Console加载到Google BigQuery

Question

到目前为止,我正在使用BigQuery Web工具加载自动保存在云存储上的数据备份.我将这些备份每周存储三次,在三个不同的存储桶中,取决于工作日(星期一,星期三,星期五).

GAE备份工具使用如此长的名称(例如:)保存.backup_info文件,ahNzfmVnb2xpa2Vwcm9kdWN0aW9uckELEhxfQUVfRGF0YXN0b3JlQWRtaW5fT3BlcmF0aW9uGIrD6wMMCxIWX0FFX0JhY2t1cF9JbmZvcm1hdGlvbhgBDA.entityName.backup_info并且不知道如何确定它或者我是否可以确定更容易的名称.我只能给"output-X-retry-Y"文件命名.有没有办法改变这个？

另一方面,我正在尝试使用命令行工具,我想从Web工具转移到此工具.

我已经尝试了load命令,但不知道如何从备份中自动生成模式,就像我在'指定模式'部分的Web工具中所做的那样.

我总是犯一个错误,因为没有指定尝试这种格式的模式:

bq load dataset.table gs://path

是否有可能无法确定架构,就像我在Web工具上没有这样做一样？

Answer 1

如果您正在运行bq load以导入GAE数据存储备份,则应添加该--source_format=DATASTORE_BACKUP标志.请注意,您需要load在表名之后但在表名之前添加该标志:

bq load --source_format=DATASTORE_BACKUP dataset.table gs://path

这将告诉BigQuery您是从数据存储备份加载的,它具有自描述模式.

据我所知,没有办法控制生成的数据存储备份名称.