如何在 Athena (Presto) 中查询和迭代结构体数组？

Question

我有一个包含 500,000 多条json记录的 S3 存储桶，例如。

{
  "userId": "00000000001",
  "profile": {
    "created": 1539469486,
    "userId": "00000000001",
    "primaryApplicant": {
      "totalSavings": 65000,
      "incomes": [
        { "amount": 5000, "incomeType": "SALARY", "frequency": "FORTNIGHTLY" },
        { "amount": 2000, "incomeType": "OTHER", "frequency": "MONTHLY" }
      ]
    }
  }
}

我在 Athena 中创建了一个新表

CREATE EXTERNAL TABLE profiles (  
  userId string,
  profile struct<
    created:int,
    userId:string,
    primaryApplicant:struct<
      totalSavings:int,
      incomes:array<struct<amount:int,incomeType:string,frequency:string>>,
    >
  >
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ( 'ignore.malformed.json' = 'true')
LOCATION 's3://profile-data'

我对例如感兴趣incomeTypes。"SALARY"、"PENSIONS"、"OTHER"等...并运行此查询，jsonData.incometype每次都会更改：

SELECT jsonData
FROM "sampledb"."profiles"

CROSS JOIN UNNEST(sampledb.profiles.profile.primaryApplicant.incomes) AS la(jsonData)

WHERE jsonData.incometype='SALARY'

这可以很好地展CROSS JOIN UNNEST平收入数组，以便上面的数据示例跨越 2 行。唯一的特殊之处是CROSS JOIN UNNEST所有字段名称都小写，例如。一行看起来像这样：

{amount=1520, incometype=SALARY, frequency=FORTNIGHTLY}

现在有人问我有多少用户拥有两个或更多"SALARY"条目，例如。

      "incomes": [
        { "amount": 3000, "incomeType": "SALARY", "frequency": "FORTNIGHTLY" },
        { "amount": 4000, "incomeType": "SALARY", "frequency": "MONTHLY" }
      ],

我不知道该怎么做。

1. 如何查询结构数组以查找 的重复incomeTypes项"SALARY"？

2. 我必须迭代数组吗？

3. 结果应该是什么样的？

Answer 1

UNNEST是一个非常强大的功能，使用它可以解决这个问题。不过，我认为使用Presto 的 Lambda 函数更直接：

SELECT COUNT(*)
FROM sampledb.profiles
WHERE CARDINALITY(FILTER(profile.primaryApplicant.incomes, income -> income.incomeType = 'SALARY')) > 1

此解决方案使用FILTERonprofile.primaryApplicant.incomes数组仅获取带有incomeTypeof的数组SALARY，然后CARDINALITY提取该结果的长度。

对于 SQL 引擎来说，区分大小写从来都不是一件容易的事。总的来说，我认为你不应该期望他们尊重大小写，而且很多人不尊重。Athena 特别显式地将列名称转换为小写。