小编Mik*_*ant的帖子

如何导入LocalServerReceiver()?

我有这个代码,但我在maven-repository中找不到

要导入的正确库.有谁知道它是谁?

import com.google.api.client.extensions.jetty.auth.oauth2.LocalServerReceiver;


/** Authorizes the installed application to access user's protected data. */
private static Credential authorize() throws IOException {
    dataStoreFactory = new FileDataStoreFactory(DATA_STORE_DIR);
    // set up authorization code flow
    GoogleAuthorizationCodeFlow flow = new GoogleAuthorizationCodeFlow.Builder(
            TRANSPORT, JSON_FACTORY, clientSecrets, SCOPES).setDataStoreFactory(
            dataStoreFactory).build();
    // authorize
    return new AuthorizationCodeInstalledApp(flow, new LocalServerReceiver()).authorize("user");
}
Run Code Online (Sandbox Code Playgroud)

我找不到com.google.api.client.extensions.jetty

https://mvnrepository.com/search?q=com.google.api.client.extensions.jetty

java google-authentication maven google-cloud-platform

1
推荐指数
1
解决办法
2831
查看次数

BigQuery Standart SQL:从时间戳记中提取星期几名称

我正在使用BigQuery Standart SQL。

我需要将时间戳转换为星期几名称。

例如,将今天的时间戳记(2016-11-24 00:00:00)转换为字符串:“星期四”

谢谢 :)

sql timestamp dayofweek google-bigquery

1
推荐指数
2
解决办法
5038
查看次数

如何在不指定完整类型的情况下将表中的行传递给UDF?

假设我要使用JavaScript UDF对具有嵌套结构的表进行一些处理(例如示例Github commits)。在迭代实现时,我可能想更改在UDF中查看的字段,因此我决定只将表中的整个行传递给它。我的UDF最终看起来像这样:

#standardSQL
CREATE TEMP FUNCTION GetCommitStats(
  input STRUCT<commit STRING, tree STRING, parent ARRAY<STRING>,
               author STRUCT<name STRING, email STRING, ...>>)
  RETURNS STRUCT<
    parent ARRAY<STRING>,
    author_name STRING,
    diff_count INT64>
  LANGUAGE js AS """
[UDF content here]
""";
Run Code Online (Sandbox Code Playgroud)

然后,我使用查询查询该函数,例如:

SELECT GetCommitStats(t).*
FROM `bigquery-public-data.github_repos.sample_commits` AS t;
Run Code Online (Sandbox Code Playgroud)

UDF声明中最麻烦的部分是输入结构,因为我必须包括所有嵌套字段及其类型。有一个更好的方法吗?

google-bigquery bigquery-standard-sql

1
推荐指数
1
解决办法
825
查看次数

如何计算Google BigQuery的移动总和/平均值?

很难分析波动性太大的数据系列趋势。在许多情况下,使用平滑技术(例如移动平均值或移动总和)很有用。有很多工具可以执行此类操作,但是当我们谈论数百万行时,直接在诸如Google Big Query之类的云环境中进行操作很有用。

我的问题是:如何在Google Big Query上计算移动总和/平均?

下面是我想要达到的移动平均线的数字: 在此处输入图片说明

google-bigquery

1
推荐指数
1
解决办法
2303
查看次数

Google Data Studio - 最大记录限制?

我在 google bigquery 中有一个表,其中有 140 万条记录和包裹号作为唯一字段,我需要能够将数据提取为 csv。

但是,当我在数据工作室中探索并按包裹对其进行分解时,数据工作室将记录限制为 110 万条,更糟糕的是,当我将其导出为 .csv 时,只有 75 万行。

数据工作室有限制吗?

请帮忙!!

google-bigquery google-data-studio

1
推荐指数
1
解决办法
4246
查看次数

Bigquery - 窗口函数 - 过去 3 个月的总和

我希望使用 WINDOW 函数对过去 3 个月的一列进行求和。

我的数据结构的示例如下

日期 Customer_id 金额

2020年1月1日 100.0

2020年1月2日 100.0

2020年1月3日 100.0

2020年1月4日 100.0 ....

我当前的方法是创建一个 WINDOW 函数,如下所示:

WINDOW
90d_rolling AS (PARTITION BY customer_id ORDER BY date ROWS BETWEEN 89 PRECEDING AND CURRENT ROW)
Run Code Online (Sandbox Code Playgroud)

这将 3 个月表示为 90 天 - 但我想知道是否可以使用窗口函数对过去 3 个月进行求和,即 01-04-2020 的日期 -> 求和到 01-01-2020。

请注意,我知道这样做的一种方法是通过

left join to itself where a.date >= date_sub(b.date, interval 3 month) and a.date <= b.date
Run Code Online (Sandbox Code Playgroud)

(但我只是好奇是否还有其他方法)

sql google-bigquery

1
推荐指数
1
解决办法
3722
查看次数

Google DataStudio - 日期范围

我对 dataStudio 还很陌生,我正在尝试构建一个简单的仪表板,并将计费数据导出到 bigQuery。问题是,我添加了一个条形图来显示当月的费用,但它与我当前的账单不符,经过进一步调查,我意识到该图表包括上个月的费用,如下所示:

发票

过滤器清楚地显示了当月的费用,但它仍然包括上个月的费用,不知道为什么。另外,我如何制作一个过滤器来考虑invoice.month以防万一有一些费用从上个月的最后一天开始并一直收取到第二天。

更新#1:

如果我添加使用开始日期和使用结束日期,您将看到过滤器未按预期工作,因为它考虑了过去一个月的天数

这个月

更新#2:

对于我的数据源(GCP 根据结算数据创建的 bigQuery 数据集),似乎无法选择日期范围维度的字段,这两个选项上的操作相同:报告设置和当前页面设置

在此输入图像描述

looker-studio

1
推荐指数
1
解决办法
5862
查看次数

删除大写字母之前的小写字母

我试图替换 BigQuery 上大写字母之前的所有小写字母。

例如:-

string = aDepartment of test, kHospital of test
Run Code Online (Sandbox Code Playgroud)

更换后

Department of test, Hospital of test
Run Code Online (Sandbox Code Playgroud)

我已经制作了正则表达式[a-z](?=[A-Z])。该正则表达式在 regex101 上运行良好。但是当我在 BigQuery 上使用这个正则表达式时,它显示Cannot parse regular expression: invalid perl operator: (?=错误。

我无法理解这个错误是关于什么的。任何人都可以研究一下这个正则表达式,以便它可以在 BigQuery 上运行吗?

regex re2

1
推荐指数
1
解决办法
83
查看次数

dbt 两个参数 ref

如何引用 fromview1view2using的相对路径ref('package_name', 'model_name')

/root_folder
   / project1
     /models
       view1.sql
     dbt_project.yml

   / project2
     /models
       view2.sql
     dbt_project.yml

Run Code Online (Sandbox Code Playgroud)

文档中没有代码示例。

谢谢。

dbt

0
推荐指数
1
解决办法
3966
查看次数

BigQuery 中的层次结构查询

我通过这种方式从 ControlM(调度程序)获得了数据

PREDECESSOR_JOB_ID,SUCCESSOR_JOB_ID
XYZ,ABC
ABC,LMN
ABC,PQR
XYZ,EFG
EFG,STU
STU,TUV
STU,VWX
.
.
.
Run Code Online (Sandbox Code Playgroud)

我看到了许多解决方案,它们从第一个节点开始并下降到最后一个节点。但这很可能会随着这些数据而扇出。我正在寻找一个扇入解决方案,我可以从任何端节点开始并到达第一个节点

在这种情况下,我正在寻找的答案是

ABC-->XYZ
LMN-->ABC-->XYZ
PQR-->ABC-->XYZ
EFG-->XYZ
STU-->EFG-->XYZ
TUV-->STU-->EFG-->XYZ
VWX-->STU-->EFG-->XYZ
Run Code Online (Sandbox Code Playgroud)

sql hierarchy google-bigquery

0
推荐指数
1
解决办法
720
查看次数