Bigquery流:'由于超时而无法插入XX行'

fox*_*ndy 8 google-bigquery

最近几天,我们的流媒体见面了

"Failed to insert XX rows. First error: {"errors":[{"reason":"timeout"}],"index":YY}"  
Run Code Online (Sandbox Code Playgroud)

在过去半个月中,从未更改的数据源和程序脚本连续流式传输,之前未发现此类故障.

项目编号:red-road-574

Jor*_*ani 5

我们刚刚在周末推出了一项更改,应该会显着降低您遇到的超时次数。

在过去的几周中,TableData.insertAllAPI 的客户负载大幅增加。虽然我们应该能够毫无问题地处理该负载,但它暴露了我们一直在努力解决的系统中的几个瓶颈。从我们的监测来看,延迟似乎应该在昨天晚上恢复正常。如果您继续看到超时,请告诉我们。


Sea*_*hen 5

BigQuery 团队成员在这里。

看起来我们的文档有点不正确,因为我们可以部分提交行。如果存在无效行(结构不匹配),我们将完全拒绝请求,但个别行可能无法缓冲。

在这种情况下,只有指示的行未能提交。如果您有插入 ID,您可以简单地重试失败的行,或者根据需要重试完整请求(尽管每个重试的行都将计入您的表配额)。

这些行级错误发生的增加是由于我们处理批量插入的方式发生了变化。以前,整个请求都会遇到超时。

希望有帮助。肖恩