BQ项目中表格数量的硬限制

Question

我有一些高度可分区的数据,我想存储在BigQuery中,每个分区都有自己的表.我的问题是BQ是否会支持我需要的表格数量.

根据我的数据集,我每天会创建大约2,000个新表.所有表格都有390天(13个月)的到期时间,因此最终会在这个特定项目中持续计算约2,000个表*390天= ~780,000个表.

我自己测试一下,但BQ 每个项目每天最多只支持10,000个负载作业.

有没有人有这种表计数的经验？是否有Google提供的官方桌面限制？

Answer 1

今天有些项目有这么多不同的表格.目前对不同表的数量没有严格限制.

当您考虑使用那么多表的表示时,会想到一些相关的注意事项:

• 查询(包括引用的视图)目前只能引用1000个表.

• 使用表通配符函数时,具有大量表的数据集可能会出现问题行为.

• 你可能会过度训练.您可能只想使用更宽的架构和更少的表,而不是许多单独的表.

• 如果您严重依赖时间间隔作为分片考虑因素,您可能还希望将表装饰器视为限制数据扫描范围的一种方式.

• 您可能还希望随着时间的推移将数据折叠为更少,更大的表,因为它们会老化并且访问频率较低.例如,复制作业可以将多个源表附加到单个目标表中.