在 express 中缓存响应

Question

我在 express 中缓存响应确实有一些麻烦……我有一个端点可以收到很多请求（大约 5k rpm）。此端点从 mongodb 获取数据并加快处理速度，我想将完整的 json 响应缓存 1 秒，以便每秒只有第一个请求命中数据库，而其他请求则从缓存中提供。

当抽象出问题的数据库部分时，我的解决方案如下所示。我在 redis 中检查缓存的响应。如果找到一个，我会为它服务。如果不是我生成它，发送它并设置缓存。超时时间太模拟数据库操作了。

app.get('/cachedTimeout', function(req,res,next) {
  redis.get(req.originalUrl, function(err, value) {
    if (err) return next(err);
    if (value) {
      res.set('Content-Type', 'text/plain');
      res.send(value.toString());
    } else {
      setTimeout(function() {
        res.send('OK');
        redis.set(req.originalUrl, 'OK');
        redis.expire(req.originalUrl, 1);
      }, 100);
    }
  });
});

问题在于，这不仅会使第一个请求每秒命中数据库。相反，在我们有时间设置缓存（100 毫秒之前）之前传入的所有请求都将命中数据库。当向其添加实际负载时，它的响应时间真的会在 60 秒左右爆炸，因为很多请求都落后了。

我知道这可以通过像 varnish 这样的反向代理来解决，但目前我们托管在 heroku 上，这使这样的设置变得复杂。

我想做的是在快递内部做某种反向代理缓存。我希望这样，在初始请求（生成缓存）之后进入的所有请求都将等待缓存生成完成，然后再使用相同的响应。

这可能吗？

Answer 1

在 Node.js 应用程序之上使用代理层。Vanish Cache将是与Nginx一起为您的应用程序提供服务的不错选择。