google.cloud.bigquery python。如何获取查询处理的字节数

Question

我在 python 代码中使用 Google BigQuery 来获取数据并将其插入表中。我想知道我的查询处理的字节数。有没有办法做到这一点？我目前在 python2 中使用 google.cloud.bigquery。

谢谢。

Answer 1

在版本中，0.28.0您可以使用其中之一dry_run，也可以在作业完成后获取结果，如下所示：

import google.cloud.bigquery as bq
import os

os.environ['GOOGLE_APPLICATION_CREDENTIALS']='path/to/your/secrets.json'
bc = bq.Client()
job_config = bq.QueryJobConfig()
job_config.dry_run = True

query = """your query"""    
query_job = bc.query(query, job_config)
print "Total bytes this query will process: {}".format(
    query_job.total_bytes_processed)

# this approach is after you run the job without ``dry_run``
import time
query = """your query"""
query_job = bc.query(query)
while(query_job.done() != True):
    time.sleep(1)
print "Total bytes processed: {}".format(
    query_job.total_bytes_processed)