自动将文件从 Google Cloud Storage 上传到 Bigquery

bbo*_*dek 5 google-cloud-storage google-bigquery google-cloud-platform

我们设置了自动 FTP 流程,每天将数据文件导入 Google Cloud Storage。

我想设置一个每日自动化作业,将这个 csv 上传到一个 bigquery 表中。

做这个的最好方式是什么?我目前的第一个想法是使用每天运行 python 脚本的 cron 作业设置一个应用引擎实例。有更好的解决方案吗?

Mik*_*ant 4

Background Cloud Function拥有Cloud Storage trigger是您最好的选择!

您可以将其设置为监视特定存储桶中的新文件,并在触发触发器时执行加载脚本

忘了提及 - Cloud Functions(截至目前)仅支持用于脚本编写的 node.js - 这通常不是问题,但只是想提一下:o)