标签: google-bigquery

从数据流中的模板创建新作业，然后在写入 BigQuery 表数据集 ID 时出现此错误：

错误：值的格式必须为“.+:.+..+”

尝试用谷歌搜索它，但没有找到任何东西，也许它是一些新规则，因为在我创建相同的方式之前，但从未出现此错误。

也许有人知道这是什么意思？

我出于SEO的原因使用BigQuery.我是一个搜索TC,我有点困惑,为什么你没有使用谷歌论坛,因为我认为这是标准的.我想要使​​用BigQuery的方法是在我的竞争对手更改其网站上的数据以及更改的页面时提取.所以我需要更改的URL和更改的时间(日期),这样我也可以拉出页面标题和描述,看看他们做的与我不同.

是否有人知道如何使用BigQuery拉:

1. 页面更改日期
2. 网址
3. 标题
4. 描述

我需要一个正则表达式来检查 DebugData，如果它包含字母 [a-zA-Z] 以外的任何数字或特殊字符，请将这些特殊字符替换为空格。这些表存在于 Google Big Query 中，我正在使用 IPython 笔记本对其进行查询。

示例：当 DebugData 为 Movist2 时，ActualCarrier 应为 Movist；当 DebugData 为 LAO GS2 时，ActualCarrier 应为 LAOGS2；当 DebugData 为 CLARO"3 时，ActualCarrier 为 CLARO。

SELECT 
Id, e.Carrier as AssignedCarrier, 
CASE
 WHEN lower(DebugData) LIKE 'jasp%' THEN 'Jasper' 
 WHEN lower(DebugData) LIKE 'telu%' THEN 'Telus'
 WHEN REGEXP_MATCH(DebugData,'\\w+\\d+') THEN DebugData
 WHEN REGEXP_MATCH(lower(DebugData),'\\d+') THEN c.Network
END
AS ActualCarrier
FROM debug_table

这是我添加的声明：

ELSE REGEXP_REPLACE(lower(DebugData),'\\[^a-zA-Z]',' ')

我仍然得到这个输出：

HardwareId  DebugData   ActualCarrier   count
550466188   CLARO"3      None            5

我需要使用Python自动将本地csv文件上传到Google Cloud存储桶。我可以使用哪个Python库？任何示例代码将不胜感激。

我正在尝试使用BigQuery查询替换Google表格的内容。

我在Google表格中，并使用基于以下内容的脚本：https : //greenido.wordpress.com/2013/12/16/big-query-and-google-spreadsheet-intergration/使用Google Spreadsheet访问BigQuery

脚本所做的只是从BigQuery查询中提取信息并将其写入Google表格。但是，如果我只运行脚本，最终会收到错误消息：BigQuery：未找到带有Google Drive范围的OAuth令牌

我需要做什么才能使它正常工作？

我在 BigQuery 中有一个包含年龄和性别字段的表，我可以像这样分组：

bq query --max_rows=9999 --format=csv --use_legacy_sql=false 'SELECT COUNT(*) AS COUNT, age, sex FROM `project.dataset.table` GROUP BY age, sex ORDER BY age, sex' 2>/dev/null | head -n 11 | csvtk pretty 
COUNT   age    sex
143     50.0   Female
77      50.0   Male
28      51.0   Female
78      51.0   Male
30      52.0   Female
22      52.0   Male
79      53.0   Female
81      53.0   Male
111     54.0   Female
[...]

我想按特定年龄范围分组：50-59、60-69、60-79 和 80 岁或以上。

如何转换上面的查询，以便我可以按特定年龄范围进行分组？

此外，稍微复杂一点的是，我的sex领域可以是F, Female或M, Male。分组时如何将两种类型合二为一？

编辑：我在想输出可能是这样的：

COUNT,agegroup,sex
10,50-59,Female …

我对熊猫问了同样的问题：链接

现在我正在努力使用 Big Query SQL 做同样的事情。这就是我想要实现的目标：

我有一个Table包含按周分组的日期和 ID

每周项目：

date         id    
2022-02-07   1    
             3    
             5    
             4
2022-02-14   2
             1
             3
2022-02-21   9
             10
             1
... 
...
2022-05-16 ....

我想计算每周有多少 id 与上周重复

例如，所需的输出Table将是：

date        count
2022-02-07  0
2022-02-14  2     # because id 1 and 3 are present in previous week
2022-02-21  1     # because id 1 is present in previous week 
...

我尝试对 id 进行分组，并计算每个 id 有多少个在每个日期重复，但它没有按计划进行。

有没有计划将PostGIS功能添加到Google BigQuery？它将成为一个非常强大的GIS分析工具,看起来很自然(除了并行化问题).

我使用SQL已有很多年了。我刚刚启动了一个项目，该项目使用Google Firebase和BigQuery探索用户在我们网站上的活动。

BigQuery中的原始数据（Firebase事件）非常复杂。

看来BigQuery正在使用SQL2011。我不确定这与SQL-99或SQL-2009有何不同。我还没有找到很好的概述或教程。

我正在努力解决的一些挑战包括将活动分组到会话中并确定具有某些特征的组

我想知道是否GROUP BY 需要使用窗口而不是使用窗口。

任何有关加快学习曲线的建议将不胜感激。

安迪