gunicorn + django + nginx unix://socket failed (11: 资源暂时不可用)

Question

在这些配置了 django、gunicorn、supervisor 和 nginx 的服务器上运行非常高的流量。但很多时候我往往会看到 502 错误。所以我检查了 nginx 日志以查看什么错误，这是记录的内容：

[错误] 2388#0：*208027 connect() to unix:/tmp/gunicorn-ourapp.socket 在连接到上游时失败（11：资源暂时不可用）

任何人都可以帮助调试可能导致这种情况发生的原因吗？

这是我们的 nginx 配置：

sendfile on;
tcp_nopush on;
tcp_nodelay off;

listen 80 default_server;
server_name imp.ourapp.com;
access_log /mnt/ebs/nginx-log/ourapp-access.log;
error_log /mnt/ebs/nginx-log/ourapp-error.log;

charset utf-8;
keepalive_timeout 60;
client_max_body_size 8m;

gzip_types text/plain text/xml text/css application/javascript application/x-javascript application/json;

location / {
    proxy_pass http://unix:/tmp/gunicorn-ourapp.socket;
    proxy_pass_request_headers on;
    proxy_read_timeout 600s;
    proxy_connect_timeout 600s;
    proxy_redirect http://localhost/ http://imp.ourapp.com/;
    #proxy_set_header Host              $host;
    #proxy_set_header X-Real-IP         $remote_addr;
    #proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
    #proxy_set_header X-Forwarded-Proto $my_scheme;
    #proxy_set_header X-Forwarded-Ssl   $my_ssl;
}

我们已经将 Django 配置为在 Gunicorn 中作为通用 WSGI 应用程序运行。Supervisord 用于启动 gunicorn 工人：

home/user/virtenv/bin/python2.7 /home/user/virtenv/bin/gunicorn --config /home/user/shared/etc/gunicorn.conf.py daggr.wsgi:application

这是 gunicorn.conf.py 的样子：

import multiprocessing

bind = 'unix:/tmp/gunicorn-ourapp.socket'
workers = multiprocessing.cpu_count() * 3 + 1
timeout = 600
graceful_timeout = 40

有谁知道我可以从哪里开始挖掘以查看可能导致问题的原因？

这是我的 ulimit -a 输出在服务器上的样子：

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 59481
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 50000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Answer 1

这听起来像是因为所有的 Gunicorn 工作人员都在使用而造成的。我会暂时在gunicorn中打开登录。请参阅此处的日志记录设置。这应该可以让您看到 Gunicorn 工作线程的状态以及为什么在 502 发生时无法建立新连接。