BigQuery：404“表被截断。” 当在截断之后插入时

Question

我通过执行此处描述的 queryJob 截断我的表： https: //cloud.google.com/bigquery/docs/quickstarts/quickstart-client-libraries

"truncate table " + PROJECT_ID + "." + datasetName + "." + tableName;

我等到工作完成

queryJob = queryJob.waitFor();

截断效果很好。

无论如何，如果我在截断操作之后立即进行插入

InsertAllResponse response = table.insert(rows);

它导致

com.google.cloud.bigquery.BigQueryException: Table is truncated.

具有以下日志：

Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 404 Not Found
    POST https://www.googleapis.com/bigquery/v2/projects/[MYPROJECTID]/datasets/[MYDATASET]/tables/[MYTABLE]/insertAll?prettyPrint=false
    {
      "code" : 404,
      "errors" : [ {
        "domain" : "global",
        "message" : "Table is truncated.",
        "reason" : "notFound"
      } ],
      "message" : "Table is truncated.",
      "status" : "NOT_FOUND"
    }

有时我什至需要在截断和插入之间等待超过 5 分钟。

我想检查我的表是否仍处于“表已截断”状态。周期性地直到这种状态消失。

我如何请求 bigquery api 来检查表是否准备好插入？

我如何请求bigquery api来获取表的状态？

编辑

可以在这里找到重现的示例

Answer 1

如果在流式管道仍在运行或在最近截断的表上执行流式插入时表被截断，您可能会收到问题中提到的一些错误（表被截断），这是预期的行为。InsertAll（QPS非常高的API）的元数据一致性模式是最终一致的，这意味着在使用InsertAll API时，可能会出现表元数据延迟并返回表被截断等失败的情况。解决此问题的典型方法是后退并重试。

目前，BigQuery API 中没有选项可以检查表是否处于截断状态。

Answer 2

不幸的是，API（还没有？）提供端点来检查表的截断状态。

为了避免这一问题，可以通过 gc 存储使用加载作业。

看起来加载作业尊重这种状态，因为我连续多次截断/加载没有问题。

public void load(String datasetName, String tableName, String sourceUri) throws InterruptedException {
    Table table = getTable(datasetName, tableName);

    Job job = table.load(FormatOptions.json(), sourceUri);
    // Wait for the job to complete

    Job completedJob = job.waitFor(RetryOption.initialRetryDelay(Duration.ofSeconds(1)),
            RetryOption.totalTimeout(Duration.ofMinutes(3)));
    if (completedJob != null && completedJob.getStatus().getError() == null) {
        // Job completed successfully
    } else {
        // Handle error case
    }
}