Heroku上的Flask:对于大型POST数据,request.form非常慢？

Question

我正在使用带有eventlet工作人员的gunicorn在Heroku上运行Flask应用程序.我的应用程序上的特定路径经常接收POST数据(x-www-form-urlencoded),其中包含一些相当粗糙的字段 - 最多为500KB.

这在本地运行时工作正常,但在Heroku上,对该路由的请求需要5到30秒才能完成 - 几乎100%的时间花在第一次访问request.form上:

t = time.time()
action = str(request.form['action'])
dt = time.time() - t  # Often 10 seconds or more!

Newrelic慢速请求跟踪也证实了这一点.数据库操作在这里或那里有几毫秒,然后在Python代码中花费了大量时间,显然花在等待某些i/o上,因为报告的CPU时间通常小于一毫秒.

我完全无法在本地环境中使用我在生产中使用的相同gunicorn/eventlet设置重现这一点.甚至内置的调试WSGI服务器对这些请求都是闪电般快速的.

有谁知道可能出了什么问题？这是Flask的问题,还是我需要联系Heroku支持的东西？

Answer 1

我想我完全明白发生了什么事。TL;DR 实际上，服务器端一点也不慢，我只是被 Newrelic 报告的响应时间误导了！

我尝试在 dotCloud 的沙箱上运行与 @AllanAnderson 建议的相同的代码。我首先创建了一个简化的测试用例：一个简单的 HTML 表单，其中包含一些预加载了大约 900KB 数据的隐藏字段，以及一个视图函数，该函数除了从 request.form 字典中读取数据并使用以下命令测量每次访问所用的时间之外，什么也不做：时间.时间()。

在 Heroku 上，结果如下所示：

5.87100 seconds: read field "p1": 786432 bytes
0.00019 seconds: read field "p2": 131072 bytes
0.00003 seconds: read field "p3": 12288 bytes
0.00001 seconds: read field "p4": 1024 bytes

在 dotCloud 上：

0.00096 seconds: read field "p1": 786432 bytes
0.00019 seconds: read field "p2": 131072 bytes
0.00003 seconds: read field "p3": 12288 bytes
0.00001 seconds: read field "p4": 1024 bytes

然而，这两个测试在我的浏览器中似乎花费了相同的时间......现在您可能已经猜到了这个“问题”的真正答案。:-)

事实证明，Heroku 上的 Gunicorn 在收到标头后立即执行视图函数，并且对 request.form 的第一次访问被阻止，直到收到请求的其余部分。因此 Newrelic 看到了所有这些慢得离谱的响应时间，这实际上只是通过糟糕的网络连接上传 POST 数据的结果。dotCloud 的设置显然只是等待整个请求被接收。

这使得 Newrelic 的指标不太有用，但这实际上并不是最终用户体验的问题。