node.js/Express抛出'RangeError:在高负载下超过'最大调用堆栈大小

Question

我们在高负载下运行的节点环境存在问题,而我们无法找到源代码.

一点背景:我们正在使用Express为http框架运行集群节点应用程序.目前,有3个盒子,每个盒子有8个CPU核心,每个盒子运行一个由6个节点工作者组成的集群.设置似乎很好,我已经研究了所有建议的方法,我相信设置是可靠的.我们使用Express 2.5.11和XMLHttpRequest 1.4.2运行node.js 0.8.1.

问题在于:我们正在对该产品进行"暗启动"测试(即浏览器客户端代码在后台对我们的API调用javascript ajax,但未在页面上使用或向用户显示).成功运行几分钟后,系统抛出:

[RangeError: Maximum call stack size exceeded]

我们正在使用集群控制器(启动每个worker)中的'uncaughtException'事件来捕获错误,但是在该级别没有可用的堆栈跟踪.我已经对这个问题进行了广泛的研究,似乎找不到任何有类似错误的人.梳理完系统中的每一行代码后,这就是我所知道的:

• 我找不到任何递归或循环引用.(我已经读过这个错误并不总是意味着一个递归问题,但我们已经检查过了;我们实际上已经通过删除大部分代码来运行测试,但它仍然会发生,见下文);
• 我已经下到每个盒子1个工作进程尝试消除群集作为一个问题 - 问题仍然发生;
• 这个问题只发生在高负荷下.我们的交通量约为.每秒1500页,在繁忙的交通时间内,每秒可达到15000页(我们无法在开发环境中复制);
• 捕获错误的时间有所不同,但通常在15分钟内;
• 该错误似乎不会影响操作!通过这个,我的意思是没有腐败的反应,除了偶尔的超时,系统永远不会崩溃;
• 陷阱错误的工作进程会在几秒钟后恢复并再次开始提供请求;
• 我在最基本的设计上遇到了错误 - 没有调用其他API.只需提出请求并回复简单的json响应即可.这是最奇怪的部分.在我的任何代码中,系统似乎都没有失败 - 如果没有实例化任何类来完成实际工作,它就会失败.显然,我开始使用更多的代码,但是慢慢地将它们分开,直到它仍然在一个简单的设置下失败.

我认为,最明显的症状是错误总是在请求完全服务之后发生.也就是说,服务器接收请求,找到正确的Express路由,调用res.send,并且完成.这对我来说真的像垃圾收集!我已经读过V8引擎有一个非常好的GC引擎,但我想知道我们的重负荷是多少影响了事情.

正如我所说,即使在基本设计上,代码也会抛出错误.取出大部分自定义代码后,这就是设置的基础知识.很抱歉,我正在这里切割,所以并不是所有的变量声明等都会被包含在内,但代码确实有效,所有这些东西都在真正的代码中:

集群控制器.这是在命令行上启动的清理版本.

cluster = require('cluster');
path = require('path');
fs = require('fs');
app = require('./nodeApi');
_ = require('underscore');
nodeUtil = require(./nodeUtil);

process.on('uncaughtException', function(err) {
  var stamp;
  stamp = new Date();
  console.log("***************************** Exception Caught, " + stamp);
  return console.log("Exception is:", err);
});

if (cluster.isMaster) {
  if ((nodeUtil.isLiveServer() || nodeUtil.isCluster()) && process.env.IS_CLUSTER !== '0') {
    numCPUs = require("os").cpus().length - 2;
    if (numCPUs <= 0) {
      numCPUs = 1;
    }
  } else {
    numCPUs = 1;
  }
  console.log("Forking " + numCPUs + " workers...");
  for (i = _i = 1; 1 <= numCPUs ? _i <= numCPUs : _i >= numCPUs; i = 1 <= numCPUs ? ++_i : --_i) {
    worker = cluster.fork();
  }
} else {
  app.start();
}

nodeWorker代码. 使用Express和简单的路由来提供请求.如果使用jsonp,请求将包含在回调中(对于我们使用ajax进行测试,这是必需的)

(function() {
  var crypto, express, fs, modroot, path, staticroot, _;
  express = require('express');
  _ = require('underscore');
  fs = require('fs');
  path = require('path');

  module.exports.start = function() {
    logFile = fs.createWriteStream("" + logpath + "/access.log", {
      flags: 'a'
    });

    app = express.createServer();

    app.configure(function() {
      app.use(express.logger({
        stream: logFile,
        format: ':remote-addr - [:date] - ":method :url HTTP/:http-version" :status :res[content-length] ":referrer" :response-time ms'
      }));
      app.use(express.errorHandler({
        dumpExceptions: true,
        showStack: true
      }));
      app.use(express.cookieParser());
      app.use(express.bodyParser());
      app.use(express.session({
        secret: "ourMemStoreSecret",
        cookie: {
          domain: ".ourdomain.com"
        },
        maxAge: new Date(Date.now() + 7200000),
        // The store WAS a redis store.  I took it out to eliminate redis as the issue.  We don't use sessions anyway.
        store: new require('express').session.MemoryStore({
          reapInterval: 60000 * 15
        })
      }));
      app.use(express["static"](staticroot));
      app.set('view engine', 'underscore');  // For our template rendering.  Not used in this test.
      app.set('views', __dirname + '/views/src');
      app.set('view options', {
        layout: false
      });
      app.use(app.router);
    });

    ignore = function(req, res, next) {
      if (req.params.api === 'favicon.ico') {
        return next('route');
      }
      return next();
    };

    wrapCallback = function(req, res, next) {
      var callbackName;
      if (callbackName = req.query.callback) {
        req.wrapCallback = true;
        res._send = res.send;
        res.send = function(data, status) {
          var dataString;
          if (_.isObject(data)) {
            dataString = encodeURI(JSON.stringify(data));
            res.setHeader('Content-Type', 'application/javascript');
            return res._send("" + callbackName + "(\"" + dataString + "\")", status);
          } else {
            data = encodeURI(data);
            return res._send("" + callbackName + "(\"" + data + "\")", status);
          }
        };
      }
      return next();
    };

    app.error(function(err, req, res, next) {
      console.log("[" + process.pid + "] Error Handler. Ok.", err);
      return res.send({
        error: err.msg
      }, err.statusCode);
    });

    // Does anyone know how to hard-code a path AND put it into a variable at the same time?
    // Kind of like: "/:api=MyTestAPI"  ??  That's why this route is here.
    setAPIName = function(req, res, next) {
      req.params.api = 'MyTestAPI';
      return next();
    };
    app.get("/MyTestAPI", setAPIName, wrapCallback, function(req, res) {
      res.send({
        hello: 'world'
      }, 200);
      return console.log("[" + process.pid + "] res.send (no cacher) is done");
    });

    process.setMaxListeners(0);
    process.send({
      // For IPC - the controller has a handler for this message
      cmd: 'isStarted'
    });
    return app.listen(process.env.APP_PORT);
  };

}).call(this);

错误是什么样的. 基本上,我从未在请求​​中看到它发生.错误上没有调用堆栈 - 它只是堆栈溢出消息.在这里,您可以看到每个提供响应的2个工作进程,然后是其中一个的错误.

[660] res.send (no cacher) is done
[654] res.send (no cacher) is done
***************************** Exception Caught, Fri Nov 02 2012 10:23:48 GMT-0400 (EDT)

我真的很感激对此的一些反馈.该系统运行良好,能够处理3箱的巨大交通.盒子上的负载大约是40%并且嗡嗡作响.我很想找到这个问题的根源,所以其他人可以像我一样为这个系统感到自豪,并向node.js非信徒们展示这是一个很棒的产品!

Answer 1

我想我应该更新我自己的帖子来解释修复对我来说是什么。

在意识到我已经完成了我知道如何做的所有其他事情后，解决方案通过这样做来呈现：

安装 Express 版本 3

核心代码需要进行很多差异和更改，以至于我花了一整天的时间来完成转换。然而，在这样做的过程中，我能够利用许多新的 v3 功能，包括 .param 方法，用于将助手附加到每个路由中的 :param 变量。这消除了我的几个旧的“辅助”功能，因此我没有使用链接路径，而是使用它。

我现在对路由/中间件有了充分的了解，只需重新编写 Express v3，我的问题就消失了！

由于这不是一个确切的答案，因此我用这些东西来学习如何进行转换：

Express v3 API 参考

有关路线如何运作的信息

很棒的 HOWTO 文档！感谢那些家伙！