按周/月//季度/年进行分区以超出分区限制？

Question

我有32年的数据要放入分区表中。但是BigQuery表示我超出了限制（4000个分区）。

对于像这样的查询：

CREATE TABLE `deleting.day_partition`
PARTITION BY FlightDate 
AS 
SELECT *
FROM `flights.original` 

我收到如下错误：

查询产生的分区过多，允许2000个，查询至少产生11384个分区

我怎样才能超过这个限制？

Answer 1

除了按天划分，您还可以按周/月/年划分。

以我为例，每年的数据包含大约3GB的数据，因此如果按年份进行分区，我将从群集中获得最大的收益。

为此，我将创建一个year日期列，并对其进行分区：

CREATE TABLE `fh-bigquery.flights.ontime_201903`
PARTITION BY FlightDate_year
CLUSTER BY Origin, Dest 
AS
SELECT *, DATE_TRUNC(FlightDate, YEAR) FlightDate_year
FROM `fh-bigquery.flights.raw_load_fixed`

请注意，我DATE_TRUNC(FlightDate, YEAR) AS FlightDate_year在此过程中创建了额外的列。

表格统计：

由于表是集群的，因此即使我不使用分区列（年份）作为过滤器，我也将获得分区的好处：

SELECT *
FROM `fh-bigquery.flights.ontime_201903`
WHERE FlightDate BETWEEN '2008-01-01' AND '2008-01-10'

Predicted cost: 83.4 GB
Actual cost: 3.2 GB