DescribeJobFlows会抛出超出限制的速率

Question

几天前一切顺利,但现在,不只是一个,而是我们的三个服务器抛出这些例外:

{ "Error" => { "Message" => "Rate exceeded", "Code" => "Throttling", "Type" => "Sender" } }

发生这种情况中检索从Amazon数据时,在调用DescribeJobFlows上Amazon::Coral::ElasticMapReduceClient,并示出了如NFO异常Retriable无效响应.

Answer 1

每个 AWS API 都有动态限制保护。这有点悲伤，但最好的方法是在 API 调用之间重试/睡眠:(

boto3 客户端max_retries有一个配置可以在抛出异常之前进行更改。还有关于如何使用 retries 的一般参考。

祝你好运！