我正在尝试从 BigQuery 获取数据。当我获取小数据时,一切工作正常,但当我尝试获取大数据时,则需要很长时间。有什么有效的办法吗?
到目前为止我正在使用这个:
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'cred.json'
import google.auth
from google.cloud import bigquery
%load_ext google.cloud.bigquery
import google.datalab.bigquery as bq
from google.cloud.bigquery import Client
client = bigquery.Client()
Run Code Online (Sandbox Code Playgroud)
这是我的 SQL 命令:
sql = """
SELECT bla, bla1, bla2
FROM table
"""
df = client.query(sql)
df.to_dataframe()
Run Code Online (Sandbox Code Playgroud) 我有数据框,我需要在其中转换一行中的所有列及其唯一值
A B C
1 2 2
1 2 3
5 2 9
Run Code Online (Sandbox Code Playgroud)
期望输出
X1 V1
A 1
A 5
B 2
C 2
C 3
C 9
Run Code Online (Sandbox Code Playgroud)
我可以通过 unique() 函数获得唯一值,但不知道如何在 Pandas 中获得所需的输出