BigQuery 流式插入数据可用性延迟

Question

我使用 BigQuery 已有大约 2 个月了。在那段时间里，我使用流插入每分钟添加数千个条目。然后，即使不是立即查询，我也能够在几分钟内查询该数据。

但从几天前开始，我的一个表突然开始显示数据可用性延迟 20 到 60 分钟不等。这种情况仅发生在我的一张桌子上。插入其他表中的数据几乎立即可用。

对于 BigQuery 来说，这种数据可用性延迟是否正常？

遇到此问题的表是accuAudience.trackPlays。我很乐意向 Google 团队成员提供项目 ID 和其他信息。

对有问题的表进行流式插入的结果是：

{'kind': 'bigquery#tableDataInsertAllResponse'}

来自有问题的表的示例查询accuAudience.trackPlays（按日期降序排序）：

行日期计数
1 2015-03-30 12:35:32 UTC 67
2 2015-03-30 12:35:31 UTC 65
3 2015-03-30 12:35:30 UTC 56
4 2015-03-30 12： 35:29 世界标准时间 45
5 2015-03-30 12:35:28 世界标准时间 60

几秒钟后对不同的表 ( ) 进行了相同的查询accuAudience.trackSkips。请注意，日期字段比之前的查询早 30 分钟。

行日期计数
1 2015-03-30 13:04:03 UTC 1
2 2015-03-30 13:04:02 UTC 1
3 2015-03-30 13:04:01 UTC 3
4 2015-03-30 13： 04:00 世界标准时间 3
5 2015-03-30 13:03:59 世界标准时间 6

如果需要其他信息，请告诉我！

Answer 1

BigQuery 定期运行后台维护任务来优化表的查询。其中一项后台任务导致流处理过程出现问题。这导致我们无法从流缓冲区中读取数据，直到它被刷新。请注意，当您不断地流向桌面时，您可能会认为这是一个持续存在的问题。

现在已经修复了。如果您仍然看到该问题，请告诉我们您遇到问题的表和项目。