从 AWS Athena/Presto 查询结构字段

Question

我将为这个网站做一个简化的示例，但基本上我正在尝试编写一个 Athena 查询（由 Glue 爬虫加载的数据，旨在在 Quicksight 中使用），这将允许我在 select 语句内扩展结构。

在我的示例中，假设我有一个my_table类似于以下内容的表：

id string,
scores struct<prediction:double,score:int>

但由于我不知道该scores列在查询时的确切结构，因此我想将其扩展到查询范围。

我尝试了很多组合，但仅使用结构内部嵌套字段的确切名称似乎会产生结果，即

select results.id, results.scores.score, results.scores.prediction from my_table results

如果类似的东西有效的话我会很高兴select results.id, results.scores.* from my_table results，但不幸的是它没有。

Answer 1

如果类似的东西有效的话我会很高兴select results.id, results.scores.* from my_table results，但不幸的是它没有。

您所要求的称为“通用所有字段参考”。从Presto 323开始，它就可以在 Presto 中使用。您可以从https://trino.io/download.html下载最新的 Presto 版本。

如果您使用的是 Athena，那么不幸的是，Athena 目前基于 Presto .172（3 年前发布），因此该功能在那里不可用。在升级 Athena 之前，您无法在 SQL 级别应用任何解决方法。您需要在从 Athena 读取数据的应用程序中对此进行补偿。或者，您可以轻松在 AWS 上部署最新的 Presto 版本。