Google BigQuery Python库的下载结果速度是Node JS库的2倍

Question

我一直在进行测试，以比较Google BigQuery Python客户端库与Node JS库相比下载查询结果的速度。似乎，Python库开箱即用地下载数据的速度大约是Javascript Node JS客户端的两倍。为什么？

下面，我提供了两个测试，一个使用Python，一个使用Javascript。我选择了usa_namesBigQuery 的公共数据集作为示例。该usa_1910_current数据集中的表大约有600万行180Mb，大小大约为1。我有一个200Mb的光纤下载链接（有关最后一英里的信息）。将数据打包到pandas数据帧中后，大约为1.1Gb（包括Pandas开销）。

Python测试

from google.cloud import bigquery
import time
import pandas as pd

bq_client = bigquery.Client("mydata-1470162410749")

sql = """SELECT * FROM `bigquery-public-data.usa_names.usa_1910_current`"""

job_config = bigquery.QueryJobConfig()

start = time.time()
#---------------------------------------------------
query_job = bq_client.query(
    sql,
    location='US',
    job_config=job_config)  
#--------------------------------------------------- 
end = time.time()
query_time = end-start

start = time.time()
#---------------------------------------------------
rows = list(query_job.result(timeout=30))
df = pd.DataFrame(data=[list(x.values()) for x in rows], columns=list(rows[0].keys()))
#---------------------------------------------------    
end = time.time()

iteration_time = end-start
dataframe_size_mb = df.memory_usage(deep=True).sum() / 1024 ** 2
print("Size of the data in Mb: " + str(dataframe_size_mb) + " Mb")
print("Shape of the dataframe: " + str(df.shape))
print("Request time:", query_time)
print("Fetch time:", iteration_time)

节点JS测试

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const moment = require('moment')

async function query() {

  const bigqueryClient = new BigQuery();
  const query = "SELECT * FROM `bigquery-public-data.usa_names.usa_1910_current`";
  const options = {
    query: query,
    location: 'US',
  };

  // Run the query as a job
  const [job] = await bigqueryClient.createQueryJob(options);
  console.log(`Job ${job.id} started.`);

  // Wait for the query to finish
  let startTime = moment.utc()
  console.log('Start: ', startTime.format("YYYY-MM-DD HH:mm:ss"));
  const [rows] = await job.getQueryResults();
  let endTime = moment.utc()
  console.log('End: ', endTime.format("YYYY-MM-DD HH:mm:ss"));
  console.log('Difference (s): ', endTime.diff(startTime) / 1000)
}

query();

Python库测试结果为180Mb：

• 数据大小（Mb）：1172.0694370269775 Mb
• 数据框的形状：（6028151，5）
• 申请时间：3.58441424369812
• 提取时间：388.0966112613678 <-这是6.46分钟

具有180Mb数据的Node JS库测试结果：

• 开始时间：2019-06-03 19:11:03
• 结束时间：2019-06-03 19:24:12 <-大约13分钟

为了进一步参考，我还针对2Gb表进行了测试...

Python库测试结果包含2Gb数据：

• 数据大小（Mb）：3397.0339670181274 Mb
• 数据框的形状：（1278004，21）
• 申请时间：2.4991791248321533
• 提取时间：867.7270500659943 <-这是14.45分钟

具有2Gb数据的Node JS库测试结果：

• 开始时间：2019-06-03 15:30:59
• 结束于：2019-06-03 16:02:49 <-差值正好低于31分钟

Answer 1

正如我所看到的，Node JS 使用分页来管理数据集，而 Python 看起来会带来整个数据集并开始使用它。

这可能会影响 Node JS 客户端库的性能，我的建议是查看两个客户端的源代码并不断阅读 Google Cloud 博客，其中 Google 有时会发布使用其产品的提示和最佳实践，作为例如本文：测试 Cloud Pub/Sub 客户端以最大限度地提高流性能。