加载到BigQuery时使用多个'*'模式将无法正常工作

Question

我们在加载到BigQuery时尝试使用glob模式,例如:

gs://<bucket_name>/Network*Impressions_12345_20150201*

我们的存储桶中有"..NetworkImpressions_ .."和"..Network Backfill Impressions_ ..",因此我们使用第一个'*'来获取这两种类型的文件.但BQ borks:

"未找到:URI gs:// backup-gdfp-7415/Network*Impressions_232503_20150101_20*"

文件肯定存在.如果我们删除第一个'*'它就可以正常工作(当我们明确指定两种类型时).

这是我们尝试使用该模式的失败加载作业的作业ID:job_LXNGEAeWsaU9HyFgcCCJMHu8YtY

我原以为这应该可以用BigQuery实现吗？

Answer 1

从加载作业配置sourceUris 参数的文档中：

[必需] 指向您在 Google Cloud Storage 中的数据的完全限定 URI。仅当通配符名称出现在 URI 末尾时才受支持。