BigQuery分区表插入过去的数据

Question

我们想在BQ中开始使用" 分区表 "但文档(https://cloud.google.com/bigquery/docs/partitioned-tables)表示仅使用" 流式插入 "

如果分区值过去最多7天,将来最多3天,

在我们的例子中,我们有一些数据可能具有超过7天的q分区值.

我们通过BigQuery REST api保存数据

这是否意味着我们不能使用分区表,还是有其他解决方法？如何为分区表保存超出范围的数据(7天3天)？

一般来说,我们的想法是:我们有一个包含流数据的表(每分钟约100条记录),我们希望将数据直接传输到分区,然后使用分区进行分析查询

Answer 1

总结评论线程：

• 无法在 [过去 7 天，未来 3 天] 之后流式传输到分区。这是一个与性能相关的限制，团队正在努力消除它。

• 解决方法：将数据流式传输到非分区表，然后从那里插入到分区表中。