我需要将BigQuery,2B记录中的大表转移到具有csv格式的云存储.我正在使用控制台进行传输.
由于文件的大小,我需要指定一个包含*的uri来对导出进行分片.我最终在云存储中有400个csv文件.每个都有一个标题行.
这使得组合文件很耗时,因为我需要将csv文件下载到另一台机器,去掉标题行,合并文件,然后重新上传.FY组合csv文件的大小约为48GB.
有更好的方法吗?
google-cloud-storage google-bigquery
google-bigquery ×1
google-cloud-storage ×1