减少 Flask/Gunicorn 请求队列

Question

我有一个 Flask/Gunicorn 端点，它需要几秒钟才能返回并且受到了很大的打击。Gunicorn 似乎将很多请求排队并最终处理它们，但是恰好添加在队列后面的请求最终会花费很长时间。

该应用程序作为gunicorn -w 4 -b :8080.

有什么方法可以配置 Flask/Gunicorn，使其只在队列中保留 X 个请求？

Answer 1

可能你现在已经想通了，但既然我遇到了这个，我不妨回答一下。

您提到的“请求队列”称为“积压”，根据文档，您可以通过将--backlog参数传递给命令来更改它，因此它看起来像：

gunicorn -w 4 --backlog 1024 -b :8080

但请记住，如果请求的数量超过您放置的数量，您的客户端将开始看到错误。