将Google BigQuery数据导出到Python Pandas数据帧

Bla*_*Hat 6 python pandas google-bigquery

我一直在研究如何将BigQuery数据导出到Pandas中.有两种方法:

  1. 将文件导出到CVS并加载它 - https://cloud.google.com/bigquery/exporting-data-from-bigquery

  2. 直接将数据拉入熊猫框架.这似乎不起作用,但这里是方法 - pandas.io.gbq.read_gbq(query,project_id = None,index_col = None,col_order = None,reauth = False).看来gbq已经停产?

有人可以建议最好和最有效的方法来解决这个问题吗?

谢谢.

小智 7

gbq.read_gbq方法肯定适用于pandas .15.0-1,因为我刚从.14.0-1升级到检查(Windows 7).如果您使用的是Python,我肯定会建议将数据从Google BigQuery中提取到数据框中,因为它几乎用于我的所有分析工作.

很难说如何在没有更多信息的情况下克服您的问题,但我会首先检查您的浏览器中的身份验证流程是否已完成,并已登录到您的Google帐户,然后从那里进行故障排除.您的第一个身份验证流程(oauth2client.tools.run)上有一个弃用警告,但一切仍然有效.

除此之外,我会尝试按照这里的例子:http://pandas-docs.github.io/pandas-docs-travis/io.html#io-bigquery

仅供参考,在当前的开发分支中,添加了Gcloud身份验证选项,以使无头身份验证更加方便.