BigQuery 传输服务:哪个文件导致错误?

Nie*_*sic 1 google-bigquery google-cloud-platform

我正在尝试使用 BigQuery 传输服务将大约 1000 个文件从 Google Cloud Storage 加载到 BigQuery 中,但其中一个文件似乎出现错误:

Job bqts_601e696e-0000-2ef0-812d-f403043921ec (table streams) failed with error INVALID_ARGUMENT: Error while reading data, error message: CSV table references column position 19, but line starting at position:206 contains only 19 columns.; JobID: 931777629779:bqts_601e696e-0000-2ef0-812d-f403043921ec
Run Code Online (Sandbox Code Playgroud)

如何找到导致此错误的文件?我觉得这在文档中的某个地方,但我似乎找不到它。

谢谢!

Ric*_*o D 6

您可以使用bq show --format=prettyjson -j job_id_here并将显示有关失败作业的详细错误。您可以在BigQuery 管理作业文档中查看有关该命令用法的更多信息。

我尝试了这个失败的工作,其中我从项目中的 Google Coud 存储桶加载 csv 文件。

使用的命令:

bq show --format=prettyjson -j bqts_xxxx-xxxx-xxxx-xxxx
Run Code Online (Sandbox Code Playgroud)

这是输出的片段。输出为 JSON 格式: 在此输入图像描述

  • 这非常有帮助。值得一提的是,我在使用此命令时遇到了问题,因为它在错误的位置搜索作业。使用 `--location=<your job's location>` 完成了这项工作,例如 `--location=europe-west3`。 (4认同)