如何加快 Amazon Athena 查询执行速度?

Emr*_*lan 5 performance amazon-web-services amazon-athena aws-glue

我正在使用 Athena 查询执行从 Glue 表中检索数据。爬网程序每小时使用 S3 存储桶更新此表,该存储桶由 Kinesis Firehose 不断更新。

我的 Node.js 服务器使用 Athena 执行基本查询。但我意识到某些请求花费的时间太长,以至于我的服务器抛出服务器请求超时。

我检查了 Athena 中的查询历史记录,发现一些最新请求的状态已排队,这意味着它们正在等待执行。它们的运行时间都很短,在 1 到 5 秒之间。很明显,问题不在于运行时导致超时,而在于队列。

如何加快这些查询的执行速度?或者如何增加并发执行限制,以便 Athena 立即执行它们?

小智 4

您可以联系 AWS 支持来增加并发活动查询限制,BUT that will not affect/decrease the **Queued** state

根据定义,排队状态表示查询已提交给服务,Athena 将在资源可用时立即执行查询。这里的资源是指 Athena 资源而不是您的资源。https://docs.aws.amazon.com/athena/latest/APIReference/API_QueryExecutionStatus.html

我认为您对这种排队状态无能为力。