我设置了 Kinesis Firehose 来提取数据,AWS Lambda 执行数据转换并将传入数据放入 S3 存储桶中。S3 结构按年/月/日/小时/messages.json 组织,因此我查询的所有实际 json 文件都处于“小时”级别,所有年、月、日目录仅包含子目录。
我的问题是我需要运行查询来获取给定日期的所有数据。有没有一种简单的方法可以在“日”目录级别查询并返回其子目录中的所有文件,而无需运行 2020/06/15/00、2020/06/15/01、2020/06/15 的查询/02...2020/06/15/23?
我可以成功查询小时级目录,因为我可以创建一个表并定义 .json 文件中表示的列名称和类型,但我不确定如何在 Athena 中创建一个表(如果可能)来表示日期目录子目录而不是实际文件。