Node.js请求随机开始挂起,直到服务器重启才会清除

Question

我在我们的网络应用程序上遇到了一个非常奇怪且看似随机的问题,我似乎无法成功调试.它可以在10分钟到6小时之间运行正常,然后突然间没有进出服务器的远程请求,它们只是挂起(这包括常规的http和Web套接字请求).奇怪的是,定期访问该站点仍然有效,直到达到操作系统文件描述符限制,然后http完全崩溃所有停止的连接.

没有错误,但是当问题开始时会抛出以下错误(我认为这是正在发生的事情的副作用而不是原因).

TypeError: Cannot read property '0' of null
    at null.<anonymous> (/app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/collection.js:504:22)
    at args.(anonymous function) (/app/node_modules/strong-agent/lib/proxy.js:85:18)
    at g (events.js:175:14)
    at EventEmitter.emit (events.js:98:17)
    at Base.__executeAllServerSpecificErrorCallbacks (/app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/base.js:315:29)
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/repl_set/ha.js:273:22
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/repl_set/ha.js:370:11
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/repl_set/ha.js:352:28
    at _callback (/app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/db.js:670:5)
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/auth/mongodb_cr.js:47:13

我已经尝试提高文件描述符限制和全局代理maxSockets而不影响此行为.当这种情况发生时,没有流量涌入,并且在高峰时段和非高峰时段经常发生.CPU使用率始终保持在5%以下,并且在崩溃前或崩溃期间没有任何可察觉的变化.服务器也永远不会低于1GB的可用内存.

堆栈:SmartOS云服务器(Joyent),Express,Socket.io,MongoDB和Redis.

我已经调试了好几天了,完全没有想法去哪看.希望有人在SO上遇到类似的东西或对可以尝试或测试的东西有不同的想法.

Answer 1

经过无数个小时的调试和更多的调试,我终于找到了罪魁祸首.几个不同的mongojs回调中出现了错误,这些回调似乎已经冒泡并阻止了关闭的连接.随着时间的推移,这已达到临界点,连接开始挂起,直到达到文件描述符限制.

错误结果出现在Now.js节点模块中(已被放弃).如果有人在使用Now.js遇到这个问题,我分叉并修补了bug.你可以在这里找到提交:https://github.com/goldfire/now/commit/b5bd54f8950602f752a710c606be6754b759cab2.

我发现此错误的方法是将错误侦听器附加到数据库对象:

var db = require('mongojs').connect('...', ['collection']);
db.client.on('error', function(err){
  console.log(err.stack);
});