除了JDBC之外,还有从Hive通过Presto查询引擎获取数据到用户界面的所有其他选项
UI <--> Presto <--> Hive
Run Code Online (Sandbox Code Playgroud) 我正在尝试搜索具有数据类型映射(varchar,varchar)的列.现在访问该列的一种方法是使用这个结构name_of_column [' key '],它将给出该键的值.但我想知道什么是可能的密钥,然后根据这些密钥应用分组和其他操作.
我尝试在互联网上搜索,但无法找到合适的解决方案.
我想知道AWS Athena中是否支持OFFSET。对于mysql,以下查询正在运行,但在雅典娜中却给了我错误。任何示例都将有所帮助。
从雇员中选择* empSal> 3000 LIMIT 300 OFFSET 20
到目前为止,我在这方面花了几个小时,我使用的是 aws athena,但没有取得任何进展,我认为我缺少一些东西:
所以我有一张这样的桌子
------------------------------------------------------------------
caseid | postcode | streetname | state | dateandtime
-----------------------------------------------------------------
123123 | 4000 | arthur | QLD | 2018-09-30 10:32:51.000
------------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud)
现在这个表将有多个重复的 caseid,我想按日期和时间获取最新的 caseid,我发现我可以执行以下操作:
SELECT b.caseid, MAX(b.dateandtime) as dateandtime
FROM jsonmanual b
GROUP BY b.caseid
Run Code Online (Sandbox Code Playgroud)
这按我想要的方式工作。
现在,我需要使用日期和时间上的 Between 语句来过滤这些结果,并从这些我无法做到的唯一条目中获取邮政编码/街道名称/州的计数,下面是我当前的主要猜测,以显示邮政编码/街道名称/州的计数两个时间戳之间的邮政编码:
SELECT a.postcode, count(a.postcode) as countof
FROM jsonmanual a
INNER JOIN (
SELECT distinct b.caseid, MAX(b.dateandtime) as dateandtime, b.postcode
FROM jsonmanual b
GROUP BY b.caseid, b.postcode
) b ON a.caseid = b.caseid and a.postcode = b.postcode
where …Run Code Online (Sandbox Code Playgroud) sql aggregate-functions greatest-n-per-group presto amazon-athena
我们在S3中存储了数千个文件。这些文件暴露于雅典娜,以便我们对其进行查询。在进行调试时,我发现雅典娜在对特定进行查询时会显示多个空白行id。鉴于有成千上万个文件,所以我不确定这些数据来自何处。
有没有一种方法可以查看雅典娜结果中各行的源文件?
我的数据如下
customer_id usage_month usage_by_product usage
1 June {"A":50, "B":50} 100
1 July {"A":50, "B":10, "C":20} 80
1 Aug {"A":50, "D":500} 550
1 Sep {"C" :30} 30
Run Code Online (Sandbox Code Playgroud)
我想编写一个查询来汇总全年的总使用量
customer_id usage_by_product usage
1 {"A": 150, "B":60 760
"C": 50, "D":500}
Run Code Online (Sandbox Code Playgroud)
是否可以在 Athena (Presto) 的地图上进行这种聚合?
下面的查询扫描100 mb的数据。
select * from table where column1 = 'val' and partition_id = '20190309';
Run Code Online (Sandbox Code Playgroud)
但是,以下查询将扫描15 GB的数据(分区超过90个)
select * from table where column1 = 'val' and partition_id in (select max(partition_id) from table);
Run Code Online (Sandbox Code Playgroud)
如何优化第二个查询以扫描与第一个查询相同的数据量?
我试图弄清楚如何查询我在哪里检查usage给定下表创建的值:
CREATE EXTERNAL TABLE IF NOT EXISTS foo.test (
`id` string,
`foo` struct< usages:array< struct< usage:string,
method_id:int,
start_at:string,
end_at:string,
location:array<string> >>>
) PARTITIONED BY (
timestamp date
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1' ) LOCATION 's3://foo.bar/' TBLPROPERTIES ('has_encrypted_data'='false');
Run Code Online (Sandbox Code Playgroud)
我想有一个查询,如:
SELECT * FROM "foo"."test" WHERE foo.usages.usage is null;
Run Code Online (Sandbox Code Playgroud)
当我这样做时,我得到:
SYNTAX_ERROR:第 1:53 行:表达式“foo”.“usages”不是 ROW 类型
如果我在直接索引数组的位置进行查询,如下所示。
SELECT * FROM "foo"."test" WHERE foo.usages[1].usage is null;
Run Code Online (Sandbox Code Playgroud)
不过,我的总体目标是查询usages数组中的所有项目,并找到数组中至少有一个项目usages的成员usage为空的任何行。
我正在尝试在 AWS Athena 上进行查询,我只想从 varchar 列中过滤数字条目。但是,Athena 不支持 ISNUMERIC 功能。我看到了一些很有用的函数,但它们仅适用于 Amazon Redshift 而不适用于 AWS Athena。有没有办法在 Athena 上应用这种类型的过滤器?谢谢你。
我有这个 json 模式
{
"name":"Pete"
"age":24,
"subjects":[
{
"name":"maths"
"grade":"A"
},
{
"name":"maths"
"grade":"B"
}
]
}
Run Code Online (Sandbox Code Playgroud)
我想将它提取到黑皮诺表中以运行类似的查询
select age,subjects_grade,count(*) from table group by age,subjects_grade
Run Code Online (Sandbox Code Playgroud)
有没有办法在黑皮诺工作中做到这一点?