可以在BigQuery表中使用每小时分区吗?

jry*_*erg 8 google-bigquery

谷歌文档只讨论每日分区.但是模型中是否存在阻碍其他时间段(例如,小时或周)填充分区的内容?

在"小"表中分区是否有任何限制或缺点?

Pen*_*m10 8

目前支持DAY分区表.不支持每小时或每月.新功能有几个功能请求,但没有实现的时间表.您可以在故障单上注释和添加用例以传播信息.

https://cloud.google.com/bigquery/docs/partitioned-tables

相关功能要求:

更新*8月2018年

集群表简介 - 您现在可以按日划分,然后通过任何其他列(例如小时/分钟)进一步对表进行集群.

群集可以提高某些类型查询的性能,例如使用过滤子句的查询和聚合数据的查询.当查询作业或加载作业将数据写入聚簇表时,BigQuery使用聚类列中的值对数据进行排序.这些值用于将数据组织到BigQuery存储中的多个块中.当您提交包含基于聚类列过滤数据的子句的查询时,BigQuery会使用已排序的块来消除对不必要数据的扫描.

  • 对于某些情况,聚类并不是真正的解决方案。示例:您基于不包含任何小时列甚至时间戳的 CSV 文件创建表。此外,如果此表创建使用“加载”API,则甚至不可能事后添加时间戳列。因此,即使使用聚类,这也无助于在时间上“进一步分区”,而只是按其他一些不相关的列类型“分组”... (2认同)