BigQuery 结果以块形式存储到 Panda DataFrame

Question

我正在尝试使用将 BigQuery 查询的结果保存到 Panda DataFramebigquery.Client.query.to_dataframe()

此查询可以返回数百万行。

鉴于 Panda to BQ ( Dataframe.to_gbq()) 有一个块参数，是否有类似的 BQ to Pandas 可以增量添加到数据帧，而不必使用限制和偏移多次运行查询？

Answer 1

您可以使用to_dataframe_iterable它来执行此操作。

job = client.query(query)
result = job.result(page_size=20)

for df in result.to_dataframe_iterable():
    # df will have at most 20 rows
    print(df)