Bigquery 无法将输入字符串解析为 TIMESTAMP

Question

我正在尝试使用架构自动检测将 csv 从 Google Cloud Storage 加载到 Bigquery 中。

然而，我的一篇专栏上的解析错误让我感到困惑。我很困惑为什么 bigquery 无法解析该字段。在文档中，它应该能够解析看起来像的字段YYYY-MM-DD HH:MM:SS.SSSSSS（这正是我的 BQInsertTimeUTC 列的内容）。

这是我的代码：

from google.cloud import bigquery
from google.oauth2 import service_account

project_id = "<my_project_id>"
table_name = "<my_table_name>"
gs_link = "gs://<my_bucket_id>/my_file.csv"

creds = service_account.Credentials.from_service_account_info(gcs_creds)
bq_client = bigquery.Client(project=project_id, credentials=creds)
dataset_ref = bq_client.dataset(<my_dataset_id>)


# create job_config object
job_config = bigquery.LoadJobConfig(
    autodetect=True,
    skip_leading_rows=1,
    source_format="CSV",
    write_disposition="WRITE_TRUNCATE",
)

# prepare the load_job
load_job = bq_client.load_table_from_uri(
    gs_link,
    dataset_ref.table(table_name),
    job_config=job_config,
)

# execute the load_job
result = load_job.result()

错误信息：

Could not parse '2021-07-07 23:10:47.989155' as TIMESTAMP for field BQInsertTimeUTC (position 4) starting at location 64  with message 'Failed to parse input string "2021-07-07 23:10:47.989155"'

这是 GCS 中的 csv 文件：

first_name, last_name, date, number_col, BQInsertTimeUTC, ModifiedBy
lisa, simpson, 1/2/2020T12:00:00, 2, 2021-07-07 23:10:47.989155, tim
bart, simpson, 1/2/2020T12:00:00, 3, 2021-07-07 23:10:47.989155, tim
maggie, simpson, 1/2/2020T12:00:00, 4, 2021-07-07 23:10:47.989155, tim
marge, simpson, 1/2/2020T12:00:00, 5, 2021-07-07 23:10:47.989155, tim
homer, simpson, 1/3/2020T12:00:00, 6, 2021-07-07 23:10:47.989155, tim

Answer 1

将 CSV 文件加载到 BigQuery 假定所有时间戳字段都将遵循相同的格式。在您的 CSV 文件中，由于第一个时间戳值为“1/2/2020T12:00:00”，因此将考虑 CSV 文件使用的时间戳格式为 [M]M-[D]D-YYYYT[H ]H:[M]M:[S]S[.F]][时区]。

因此，它抱怨无法解析值“2021-07-07 23:10:47.989155”。如果将“2021-07-07 23:10:47.989155”更改为“7/7/2021T23:10:47.989155”，它将起作用。

要解决此问题，您可以

1. 创建一个表，其中日期列的类型和 BQInsertTimeUTC 列的类型为 STRING。将 CSV 加载到其中。然后公开一个视图，该视图将具有日期和 BQInsertTimeUTC 的预期 TIMESTAMP 列类型，使用 SQL 转换基表中的数据。
2. 打开 CSV 文件并转换“日期”值或“BQInsertTimeUTC”值以使其格式一致。

顺便说一句，您粘贴到此处的 CSV 示例在分隔符“,”之后有多余的空格。

工作版本：

first_name,last_name,date,number_col,BQInsertTimeUTC,ModifiedBy
lisa,simpson,1/2/2020T12:00:00,7/7/2021T23:10:47.989155,tim
bart,simpson,1/2/2020T12:00:00,3,7/7/2021T23:10:47.989155,tim
maggie,simpson,1/2/2020T12:00:00,4,7/7/2021T23:10:47.989155,tim
marge,simpson,1/2/2020T12:00:00,5,7/7/2021T23:10:47.989155,tim
homer,simpson,1/3/2020T12:00:00,6,7/7/2021T23:10:47.989155,tim