我使用来自我的网络服务器的数据(管道分隔值)每隔2-3分钟将新日志文件写入Google云存储桶.我在一个Google Cloud Storage存储桶中有数千个~1MB的文件,并希望将所有文件加载到BigQuery表中.
"bq load"命令似乎需要单个文件,并且不能占用整个存储桶或带前缀的存储桶.
在gs存储桶中加载数千个文件的最佳方法是什么？我是否真的需要获取每个文件的URI,而不是仅仅为BigQuery指定存储桶名称或存储桶和前缀？
google-bigquery
google-bigquery ×1