自动上传大文件以进行bigquery处理

ala*_*rno 1 google-apps-script google-cloud-storage google-bigquery

我正在计划和App处理一个大文件(150MB)进行bigquery分析,而不使用任何UI.我尝试使用谷歌应用程序脚本,但我无法上传此文件,服务器错误.例如,有没有办法通过脚本上传到谷歌云存储?先感谢您.

Jor*_*ani 5

从你的另一个问题的答案:使用谷歌脚本上传一个csv文件到bigquery失败,听起来像你要点击的限制是谷歌应用程序脚本上的帖子大小限制为10 MB.因此,我不知道使用Google Apps脚本的任何方式(即使Google云端存储也会有相同的限制).

你说你不想使用UI ......你能用Python吗?如果您安装Google Cloud SDK,则可以使用bq命令行客户端运行BigQuery安装,也可以通过该gsutil工具将文件上传到Google云端存储.这些解决你的用例吗?如果没有,您能提供有关您的用例的更多信息吗?这个150MB的文件在哪里?您需要只上传一次还是为每个用户上传?(在你的另一个问题上,你提到你希望其他用户能够上传...他们都使用相同的文件或不同的文件吗?它是静态的还是正在改变?你可以将它加载一次到BigQuery然后复制需要它的每个用户的表?