NodeJS:如何释放在V8内存堆之外分配的缓冲区

Question

我有一个应用程序,我从服务器顺序下载mp3文件,暂时将它们存储在我的服务器中,然后直接将它们流式传输到客户端,如下所示:

function downloadNextTrack(){
  var request = http.get('http://mp3server.com', function(response){
    response.on('data', function(data) {
      fs.appendFile('sometrack.mp3', data, function (err) {});
    });
    response.on('end', function(){
      streamTrack('sometrack.mp3');
    }
  });
};

var clients = []; // client response objects are pushed to this array when they request the stream through a route like /stream.mp3

var stream;

function streamTrack(track){
  stream = fs.createReadStream(track);
  stream.on('data', function(data){
    clients.forEach(function(client) {
      client.write(data);
    });
  });
  stream.on('end', function(){
    downloadNextTrack(); // redoes the same thing with another track
  }
};

显然这段代码创建了许多缓存,这些缓冲区没有被操作系统释放,当我运行'free -M'命令时,这就是我得到的(运行应用程序大约4个小时后):

                   total      used       free     shared    buffers     cached
              Mem: 750        675         75          0         12        180
-/+ buffers/cache:            481        269
             Swap: 255        112        143

'缓冲区'下的数字不断上升(以及缓存的内存),操作系统显然没有回收180mb,直到最后我的应用程序耗尽内存并在我尝试生成一个小进程来验证轨道的比特率时崩溃,采样率,id3信息等

我已经诊断出有很多不同的工具(例如memwatch和nodetime)来确定它是否是内部内存泄漏但事实并非如此,V8内存堆以及Node RSS变化+/- 10mb但保持不变在大多数情况下,OS可用内存越来越低(当Node进程启动时,我有大约350MB的可用内存).

我在某处读到Node分配的Buffer实例可以直接访问原始内存,因此V8没有对它们的电源(这可以检查我没有从V8堆中获取内存泄漏),事情是,我需要一种摆脱这些旧缓冲区的方法.这可能吗？或者我每隔5个小时左右重启我的应用程序(或者更糟糕的是,购买更多内存!)？

PS.我在Ubuntu 10.04上运行Node v0.8.16.

Answer 1

我同意蒂亚戈的观点，我认为这是由于代码的递归性质造成的。我不认为流会吞噬你的堆，因为正如你所说，每次迭代都会用新的 ReadStream 重新分配流变量。然而，第 2 行中的 http.get 请求和响应（以及它们使用的任何缓冲区）在调用下一次迭代之前永远不会被释放；它们的范围在 downloadNextTrack 函数内。您最终会得到一个递归堆栈跟踪，其中每个文件都有一组请求和响应对象（以及一些底层缓冲区）。

一般来说，如果这段代码需要运行很多很多次，为什么不选择退出递归并迭代地执行这一切呢？永无休止的递归总是会消耗越来越多的内存，直到程序崩溃，即使您没有内存泄漏。