Bigquery:将数据分区超过2000个限制

and*_*oot 5 google-bigquery

从分区表上的BigQuery页面:

每个表最多可包含2,000个分区.

我们计划白天对数据进行分区.我们的大多数查询都是基于日期的,但我们有大约5年的历史数据,并计划从现在起每天收集更多.只有2000个分区:2000/365为我们提供了大约5.5年的数据.

想要超过2000个分区的表的最佳实践是什么?

  • 每年创建一个不同的表并在需要时连接表?
  • 是否可以按周或月分区?
  • 如果你问支持,可以增加2000分区限制吗?

Pav*_*ara 5

我们正在执行2000分区限制(因此我们提前告知了我们的用户提前通知).所以这是一个软限制.

创建大量分区会影响性能,因此我们建议将表限制为2000个分区.我们在这里有一些空间,具体取决于表的模式,因此如果可以增加,请求支持是合理的.我们将根据我们认为对该表的操作需要多少资源来审核它.

我们希望在未来的某个时刻支持更多的分区(高达10K),但我们正在努力完成必要的设计和实现更改(此时我们没有ETA).