小编Sam*_*Sam的帖子

环境详情

\n
• 操作系统类型和版本：1.5.29-debian10
\n
• Python版本：3.7
\n
• google-cloud-bigquery版本：2.8.0
\n

我正在配置一个 dataproc 集群，它将数据从 BigQuery 获取到 pandas 数据帧中。\n随着我的数据不断增长，我希望提高性能，并听说过使用 BigQuery 存储客户端。

我过去也遇到过同样的问题，通过将 google-cloud-bigquery 设置为版本 1.26.1 解决了这个问题。\n如果我使用该版本，我会收到以下消息。

/opt/conda/default/lib/python3.7/site-packages/google/cloud/bigquery/client.py:407: UserWarning: Cannot create BigQuery Storage client, the dependency google-cloud-bigquery-storage is not installed.\n "Cannot create BigQuery Storage client, the dependency " \n

代码片段执行但速度较慢。如果我不指定 pip 版本，则会遇到此错误。

重现步骤

\n
1. 在 dataproc 上创建集群
\n

gcloud dataproc clusters create testing-cluster  --region=europe-west1  --zone=europe-west1-b  --master-machine-type n1-standard-16  --single-node  --image-version 1.5-debian10  --initialization-actions gs://dataproc-initialization-actions/python/pip-install.sh  --metadata \'PIP_PACKAGES=elasticsearch google-cloud-bigquery google-cloud-bigquery-storage …