Google BigQuery是否支持Parquet文件格式？

Question

我想知道Google BigQuery目前是否支持Parquet文件格式,或者是否有计划支持它？

我知道它目前支持CSV和JSON格式.

Answer 1

**自2018年3月1日起,支持加载Parquet 1.0文件.

在BigQuery CLI中,有一个--source_format PARQUET选项,在输出中描述bq --help.

我从来没有使用它,因为当我试验这个功能时,它仍然只是邀请,我没有请求邀请.

我的用例是Parquet文件的大小是Avro文件的一半.我想尝试新的东西并有效地上传数据(按此顺序).

% bq load --source_format PARQUET test.test3 data.avro.parquet schema.json 
Upload complete.
Waiting on bqjob_r5b8a2b16d964eef7_0000015b0690a06a_1 ... (0s) Current 
status: DONE   
[...]