我需要将BigQuery,2B记录中的大表转移到具有csv格式的云存储.我正在使用控制台进行传输.
由于文件的大小,我需要指定一个包含*的uri来对导出进行分片.我最终在云存储中有400个csv文件.每个都有一个标题行.
这使得组合文件很耗时,因为我需要将csv文件下载到另一台机器,去掉标题行,合并文件,然后重新上传.FY组合csv文件的大小约为48GB.
有更好的方法吗？
我有一个疑问$(bq query --format=csv "select value from $BQConfig where parameter = 'Columnwidth'")。
csv 格式的查询输出为：
value
3 4 6 8
在这里我只想得到结果3 4 6 8而不是value标题。
我浏览了谷歌文档，发现--noprint_header仅适用于bq extract. 我没有找到任何东西bq query。