Athena 查询结果清理

Question

每次使用 CLI 工具对 Athena 运行查询时aws，都会在查询结果位置创建 2 个文件。随着时间的推移，这个位置将包含大量文件，除非它们被清理掉。

有没有办法自动清理它们？如果不是，最好的方法是什么？CLI命令delete-named-query仅在查询被命名时才有效，因此当您完成结果时，您似乎无法使用它来清理结果。

AWS文档的相关部分位于： https: //docs.aws.amazon.com/athena/latest/ug/querying.html

Answer 1

我们使用S3 生命周期策略来清理 Athena 临时文件。

我们的AthenaStagingDir前缀s3://.../tmp/有一个生命周期规则/tmp/：

• 当前对象在 1 天后过期，然后
• 一天后删除以前的对象（即前一天过期的对象）

我还没有找到一种方法可以在 1 天后立即删除对象，但说实话，我并没有太努力。这种两步/两天的方法效果很好。

希望有帮助:)