小编Bob*_*byD的帖子

将大文件从Google BigQuery传输到Google云端存储

我需要将BigQuery,2B记录中的大表转移到具有csv格式的云存储.我正在使用控制台进行传输.

由于文件的大小,我需要指定一个包含*的uri来对导出进行分片.我最终在云存储中有400个csv文件.每个都有一个标题行.

这使得组合文件很耗时,因为我需要将csv文件下载到另一台机器,去掉标题行,合并文件,然后重新上传.FY组合csv文件的大小约为48GB.

有更好的方法吗?

google-cloud-storage google-bigquery

5
推荐指数
1
解决办法
1075
查看次数