小编Pol*_*tiz的帖子

Firebase 导出到 BigQuery 事件时间戳时区

我有一个链接到 BigQuery 来发送事件数据的 Firebase。它以旧分区方式创建表,其中日期是表名的一部分。

Firebase 创建一个具有event_timestamp和的架构event_date。当我查看特定日期的分区时event_date日期与该分区相同,但最小时间戳从前一个日期的晚上 9 点开始,并在分区日期的晚上 9 点之前结束。

Firebase 架构的文档中,它写道event_timestamp“事件在客户端上记录的时间(以微秒为单位,UTC)。”

那么什么的完全时区event_timestamp,将event_date与分区火力地堡模式的日期?

event_timestamp用当地时间写的吗?

firebase google-bigquery

5
推荐指数
1
解决办法
1233
查看次数

如何使用 Python 将 bigquery 返回的结果转换为 Json 格式?

使用Python从Bigquery公共数据集中选取数据,得到结果后需要将其打印成JSON格式。如何将结果转换为JSON?谢谢!

已尝试row[0]但错误。

try:
    raw_results = query.rows[0]
    zipped_results = zip(field_names, raw_results)
    results = {x[0]: x[1] for x in zipped_results}
except IndexError:
    results = None

# from google.cloud import bigquery
# client = bigquery.Client()

query = """
    SELECT word, word_count
    FROM `bigquery-public-data.samples.shakespeare`
    WHERE corpus = @corpus
    AND word_count >= @min_word_count
    ORDER BY word_count DESC;
"""
query_params = [
    bigquery.ScalarQueryParameter("corpus", "STRING", "romeoandjuliet"),
    bigquery.ScalarQueryParameter("min_word_count", "INT64", 250),
]
job_config = bigquery.QueryJobConfig()
job_config.query_parameters = query_params
query_job = client.query(
    query,
    # Location must match that …
Run Code Online (Sandbox Code Playgroud)

python json google-bigquery

4
推荐指数
2
解决办法
7249
查看次数

使用自定义时间安排查询

我正在尝试在 BigQuery 中安排一个查询,以便它每天运行一次,在 7:00 am 到 11:30 am 之间每 30 分钟运行一次。

我相信以下内容应该适用于自定义时间表领域:

7:00 至 11:30 之间每 30 分钟一班

当我尝试此操作时,显示以下错误:

创建计划查询时出错:指定的计划无效:[7:00 到 11:30 之间每 30 分钟一次]

我可以将其安排为每 30 分钟运行一次,不会出现任何问题,但这会导致每天运行查询的次数超出必要的次数。

google-bigquery

3
推荐指数
1
解决办法
3935
查看次数

不包含某些单词的数据的大查询显示结果

我有一个包含 2 列的大查询数据,MyText并且SenderID. 表名是mydatatable. 我设法过滤掉包含单词行的消息列表PINCODEMyText表ID。

这是这样做的:

SELECT * 
FROM `mydatatable` 
WHERE Mytext LIKE '%PIN%' OR Mytext LIKE '%CODE%'
Run Code Online (Sandbox Code Playgroud)

我们如何显示包含单词“PIN”或“CODE”的行列表?

谢谢

google-bigquery

2
推荐指数
1
解决办法
2227
查看次数

拒绝尝试将数据加载到BigQuery以获取现有数据

我正在使用pandas-gbq包将数据从熊猫数据帧加载到BigQuery:

df.to_gbq('dataset.table', project_id, reauth=False, if_exists='append')
Run Code Online (Sandbox Code Playgroud)

典型的数据框如下所示:

key      |    value    |    order
"sd3e"   |     0.3     |    1
"sd3e"   |     0.2     |    2
"sd4r"   |     0.1     |    1
"sd4r"   |     0.5     |    2
Run Code Online (Sandbox Code Playgroud)

如果键已经出现在BigQuery表中,是否可以拒绝加载尝试?

python-3.x pandas google-bigquery

0
推荐指数
1
解决办法
208
查看次数

标签 统计

google-bigquery ×5

firebase ×1

json ×1

pandas ×1

python ×1

python-3.x ×1