Google BigQuery 使用估计值对查询大小设置限制

Shi*_*thi 2 size limit google-bigquery

GoogleBigQuery有一个试运行功能,通过它我们可以在运行之前估计总查询大小。
是否有一些 hack/机制BigQuery,我们可以通过它设置允许的查询大小的上限,并自动拒绝任何超过该大小的查询?

这将是有益的,以避免意外的是有可能会超过设定的限制(任何疑问WEB UICOMMAND-LINEAPI)。

Pen*_*m10 5

您可以使用最大计费字节数设置来限制为查询计费的字节数。当您设置计费的最大字节数时,如果查询将读取超出限制的字节数,则查询失败且不会产生费用。

如果由于最大字节计费设置而导致查询失败,则会返回如下错误:

错误:查询超出计费字节数限制:1000000。需要 10485760 或更高。

在 BigQuery 网页界面中,在查询选项的最大计费字节数字段中输入一个整数。

在此处输入图片说明

在 CLI 中,使用带有 --maximum_bytes_billed 标志的 bq 查询命令。

bq --location=US 查询 --maximum_bytes_billed=1000000 --use_legacy_sql=false "SELECT word FROM bigquery-public-data.samples.shakespeare"

在 API 中,设置maximumBytesBilled属性。

BigQuery 最佳实践中查看更多信息:控制成本

  • 伟大的!但我希望项目默认将其设置在那里,而不必每次尝试查询时都手动执行此操作。是否可以?我也可以为多个用户设置吗?感谢您的时间! (2认同)