node.js 服务器泄漏 TCP 连接?

pma*_*ezz 5 javascript tcp node.js express mimosa

注意:请参阅帖子末尾的我的编辑。

我有一个 node.js (Express) 服务器,每秒处理大约 15-30 个请求。我正在提供一堆简单的 JADE 模板和一个 Durandal SPA 应用程序,其中大部分请求都是针对简单 JADE 模板的。几分钟后一切正常,但是服务器在一段时间后开始出现 EMFILE 错误并最终崩溃。经过一番故障排除后,我发现lsof -i -n -P | grep node一段时间后的输出包含大量此类行:

node    8800 my_user   13u  IPv4 906628      0t0  TCP 172.x.x.x:3000->x.x.x.x:44654 (ESTABLISHED)
node    8800 my_user   14u  IPv4 908407      0t0  TCP 172.x.x.x:3000->x.x.x.x:13432 (ESTABLISHED)
node    8800 my_user   15u  IPv4 908409      0t0  TCP 172.x.x.x:3000->x.x.x.x:38814 (ESTABLISHED)
node    8800 my_user   19u  IPv4 906622      0t0  TCP 172.x.x.x:3000->x.x.x.x:56743 (ESTABLISHED)
node    8800 my_user   20u  IPv4 907221      0t0  TCP 172.x.x.x:3000->x.x.x.x:46897 (ESTABLISHED)
...
Run Code Online (Sandbox Code Playgroud)

我是 node.js 的初学者,但它似乎无法解除已完成的连接,最终导致 EMFILE 和崩溃。

我已经尝试了以下方法:

  • ulimit -n 2048:这显然是一个临时解决方案,它延迟了 EMFILE 错误但没有解决问题
  • 将响应超时(默认为 2 分钟,如果我没记错的话)降低到接近 5-10 秒

进行这两项调整后,服务器崩溃的时间要长得多,但最终还是会崩溃。即使没有任何负载,它似乎也无法处理“卡住”的 TCP ESTABLISHED 连接,并且当请求再次开始到达时,打开的文件描述符的数量不断增加并最终导致进程崩溃。

我的 node.js 服务器(在 coffeescript 中)看起来像这样(我使用mimosa来启动服务器,但我认为它没有任何区别):

express = require 'express'
engines = require 'consolidate'

fs      = require 'fs'
http    = require 'http'
https   = require 'https'

options =
    ca: fs.readFileSync __dirname + '/ssl/ca.pem'
    key: fs.readFileSync __dirname + '/ssl/key.pem'
    cert: fs.readFileSync __dirname + '/ssl/cert.pem'

exports.startServer = (config, callback) ->

    app = express()

    app.configure ->
        app.set 'port', config.server.port
        app.set 'views', config.server.views.path
        app.engine config.server.views.extension, engines[config.server.views.compileWith]
        app.set 'view engine', config.server.views.extension
        app.use express.logger({ format: ":date :method :remote-addr :url :response-time" })
        app.use express.favicon __dirname + '/public/favicon.ico'
        app.use express.bodyParser()
        app.use express.methodOverride()
        app.use express.compress()
        app.use express.static(config.watch.compiledDir)
        app.use config.server.base, app.router

    app.configure 'development', ->
        app.use express.errorHandler()

    app.get '/my/route/n1', (req, res) ->
        res.render "./my/template/n1"
    app.get '/my/route/n2', (req, res) -> # route getting the bulk of requests
        res.setTimeout(10000) # timeout introducted attempting to fix the problem
        res.render "./my/template/n2"
    app.get '/my/route/n3', (req, res) ->
        res.render "./my/template/n3"
    app.get '*/?', (req, res) -> res.render 'index'

    server = https.createServer options, app
    server.listen config.server.port, ->
        console.log "Express server listening on port %d in %s mode", server.address().port, app.settings.env

    callback server
Run Code Online (Sandbox Code Playgroud)

我认为 node.js 处理如此多的请求应该没有任何问题,所以我认为这是我的配置错误或类似的问题。我做错了什么?谢谢!

PS:lsof出于隐私考虑,我从代码/输出中删除了一堆内容,也因为它应该与问题无关;但是,如果需要任何其他信息,我会更新问题以尽快提供。

编辑:我想我找到了问题的根源。Express 用于提供服务的连接./my/template/n2确实在 10 秒后超时,但是用于express.static提供图像、CSS 和其他静态资源的连接不是(好吧,它们是,但它们需要 2-5 分钟才能释放其文件描述符.. .) 我想我的问题然后简化为:如何为由 提供的文件设置响应超时express.static?我尝试app.use express.timeout(10000)在所有其他中间件之前使用,但它似乎只适用于主 JADE 文件,而不适用于图像或 css。

我正在使用 Express 3。再次感谢您。

pma*_*ezz 3

在每次其他调用之前添加此中间件后,问题似乎已解决app.use

        app.use (req, res, next) ->
            res.setTimeout(10000)
            next()
Run Code Online (Sandbox Code Playgroud)

我怀疑这是解决问题的最优雅的方法,但它现在运行良好。