小编s_k*_*n92的帖子

从 BigQuery 获取数据需要很长时间

我正在尝试从 BigQuery 获取数据。当我获取小数据时,一切工作正常,但当我尝试获取大数据时,则需要很长时间。有什么有效的办法吗?

到目前为止我正在使用这个:

import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'cred.json'
import google.auth
from google.cloud import bigquery

%load_ext google.cloud.bigquery

import google.datalab.bigquery as bq
from google.cloud.bigquery import Client

client = bigquery.Client()
Run Code Online (Sandbox Code Playgroud)

这是我的 SQL 命令:

sql = """
   SELECT bla, bla1, bla2
FROM table
"""
df = client.query(sql)
df.to_dataframe()
Run Code Online (Sandbox Code Playgroud)

python sql pandas google-bigquery jupyter-notebook

3
推荐指数
1
解决办法
4160
查看次数

需要在前面转换具有唯一值的行中的所有列吗?

我有数据框,我需要在其中转换一行中的所有列及其唯一值

A       B       C
1       2       2
1       2       3
5       2       9
Run Code Online (Sandbox Code Playgroud)

期望输出

X1   V1
A    1
A    5
B    2
C    2
C    3
C    9
Run Code Online (Sandbox Code Playgroud)

我可以通过 unique() 函数获得唯一值,但不知道如何在 Pandas 中获得所需的输出

python unique dataframe pandas

2
推荐指数
1
解决办法
32
查看次数