小编Pio*_*sen的帖子

除JDBC之外的Presto API选项

除了JDBC之外,还有从Hive通过Presto查询引擎获取数据到用户界面的所有其他选项

UI  <--> Presto <--> Hive
Run Code Online (Sandbox Code Playgroud)

presto

3
推荐指数
1
解决办法
1692
查看次数

Presto map(varchar,varchar):如何获取它的所有可能键?

我正在尝试搜索具有数据类型映射(varchar,varchar)的列.现在访问该列的一种方法是使用这个结构name_of_column [' key '],它将给出该键的值.但我想知道什么是可能的密钥,然后根据这些密钥应用分组和其他操作.

我尝试在互联网上搜索,但无法找到合适的解决方案.

presto

3
推荐指数
1
解决办法
5457
查看次数

AWS Athena(Presto)OFFSET支持

我想知道AWS Athena中是否支持OFFSET。对于mysql,以下查询正在运行,但在雅典娜中却给了我错误。任何示例都将有所帮助。

从雇员中选择* empSal> 3000 LIMIT 300 OFFSET 20

sql amazon-web-services presto amazon-athena

3
推荐指数
1
解决办法
1559
查看次数

athena 中的 SQL 语法 best-n-per-group + 聚合

到目前为止,我在这方面花了几个小时,我使用的是 aws athena,但没有取得任何进展,我认为我缺少一些东西:

所以我有一张这样的桌子

------------------------------------------------------------------
caseid | postcode | streetname | state | dateandtime             
-----------------------------------------------------------------
123123 | 4000     | arthur     | QLD   | 2018-09-30 10:32:51.000 
------------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud)

现在这个表将有多个重复的 caseid,我想按日期和时间获取最新的 caseid,我发现我可以执行以下操作:

SELECT b.caseid, MAX(b.dateandtime) as dateandtime
FROM  jsonmanual b
GROUP BY b.caseid
Run Code Online (Sandbox Code Playgroud)

这按我想要的方式工作。

现在,我需要使用日期和时间上的 Between 语句来过滤这些结果,并从这些我无法做到的唯一条目中获取邮政编码/街道名称/州的计数,下面是我当前的主要猜测,以显示邮政编码/街道名称/州的计数两个时间戳之间的邮政编码:

SELECT a.postcode, count(a.postcode) as countof
FROM  jsonmanual a
INNER JOIN (
    SELECT distinct b.caseid, MAX(b.dateandtime) as dateandtime, b.postcode
    FROM  jsonmanual b
    GROUP BY b.caseid, b.postcode
) b ON a.caseid = b.caseid and a.postcode = b.postcode
where …
Run Code Online (Sandbox Code Playgroud)

sql aggregate-functions greatest-n-per-group presto amazon-athena

3
推荐指数
1
解决办法
4369
查看次数

查找雅典娜查询结果的来源

我们在S3中存储了数千个文件。这些文件暴露于雅典娜,以便我们对其进行查询。在进行调试时,我发现雅典娜在对特定进行查询时会显示多个空白行id。鉴于有成千上万个文件,所以我不确定这些数据来自何处。

有没有一种方法可以查看雅典娜结果中各行的源文件?

amazon-s3 amazon-web-services presto amazon-athena

3
推荐指数
1
解决办法
379
查看次数

在 Presto 中添加两张地图

我的数据如下

customer_id   usage_month  usage_by_product         usage
1             June         {"A":50, "B":50}         100
1             July         {"A":50, "B":10, "C":20} 80
1             Aug          {"A":50, "D":500}        550
1             Sep          {"C" :30}                30
Run Code Online (Sandbox Code Playgroud)

我想编写一个查询来汇总全年的总使用量

customer_id   usage_by_product    usage
 1            {"A": 150, "B":60   760
               "C": 50, "D":500}
Run Code Online (Sandbox Code Playgroud)

是否可以在 Athena (Presto) 的地图上进行这种聚合?

presto

3
推荐指数
1
解决办法
5155
查看次数

使用聚合函数时,减少雅典娜扫描的数据量

下面的查询扫描100 mb的数据。

select * from table where column1 = 'val' and partition_id = '20190309';
Run Code Online (Sandbox Code Playgroud)

但是,以下查询将扫描15 GB的数据(分区超过90个)

select * from table where column1 = 'val' and partition_id in (select max(partition_id) from table);
Run Code Online (Sandbox Code Playgroud)

如何优化第二个查询以扫描与第一个查询相同的数据量?

sql presto amazon-athena

3
推荐指数
1
解决办法
327
查看次数

在 Athena 中,如何查询结构体数组中结构体的成员?

我试图弄清楚如何查询我在哪里检查usage给定下表创建的值:

CREATE EXTERNAL TABLE IF NOT EXISTS foo.test (
     `id` string,
     `foo` struct< usages:array< struct< usage:string,
     method_id:int,
     start_at:string,
     end_at:string,
     location:array<string> >>> 
) PARTITIONED BY (
         timestamp date 
) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
         'serialization.format' = '1' ) LOCATION 's3://foo.bar/' TBLPROPERTIES ('has_encrypted_data'='false');
Run Code Online (Sandbox Code Playgroud)

我想有一个查询,如:

SELECT * FROM "foo"."test" WHERE foo.usages.usage is null;
Run Code Online (Sandbox Code Playgroud)

当我这样做时,我得到:

SYNTAX_ERROR:第 1:53 行:表达式“foo”.“usages”不是 ROW 类型

如果我在直接索引数组的位置进行查询,如下所示。

SELECT * FROM "foo"."test" WHERE foo.usages[1].usage is null;
Run Code Online (Sandbox Code Playgroud)

不过,我的总体目标是查询usages数组中的所有项目,并找到数组中至少有一个项目usages的成员usage为空的任何行。

sql json presto amazon-athena

3
推荐指数
2
解决办法
8772
查看次数

AWS Athena:仅过滤列中的数字条目

我正在尝试在 AWS Athena 上进行查询,我只想从 varchar 列中过滤数字条目。但是,Athena 不支持 ISNUMERIC 功能。我看到了一些很有用的函数,但它们仅适用于 Amazon Redshift 而不适用于 AWS Athena。有没有办法在 Athena 上应用这种类型的过滤器?谢谢你。

amazon-web-services presto amazon-athena

3
推荐指数
2
解决办法
2052
查看次数

比诺嵌套 json 摄取

我有这个 json 模式

{
  "name":"Pete"
  "age":24,
  "subjects":[
    {
      "name":"maths"
      "grade":"A"
    },
    {
      "name":"maths"
      "grade":"B"
    }
  ]
}
Run Code Online (Sandbox Code Playgroud)

我想将它提取到黑皮诺表中以运行类似的查询

select age,subjects_grade,count(*) from table group by age,subjects_grade
Run Code Online (Sandbox Code Playgroud)

有没有办法在黑皮诺工作中做到这一点?

pinot

3
推荐指数
1
解决办法
226
查看次数