小编Dan*_*hin的帖子

在 Node.js 上对 RAM 较低的大文件进行排序

我们有 500GB 的文件,其中包含整数行。我们如何使用 Node.js 仅用 512Mb RAM 对其进行排序?我想是这样的:

  1. 将主文件分成 256Mb 块
  2. 对每个块进行排序
  3. 获取每个块的第一行,排序并将其推送到最终文件
  4. 对块中的每一行执行第三步。

一些想法?

更新: 感谢用户some-random-it-boy 这个解决方案基于具有本机排序实用程序的子进程。我认为它应该有效)

var fs = require('fs'),
    spawn = require('child_process').spawn,
    sort = spawn('sort', ['in.txt']);

var writer = fs.createWriteStream('out.txt');

sort.stdout.on('data', function (data) {
  writer.write(data)
});

sort.on('exit', function (code) {
  if (code) console.log(code); //if some error
  writer.end();
});
Run Code Online (Sandbox Code Playgroud)

javascript sorting fs node.js

4
推荐指数
1
解决办法
721
查看次数

标签 统计

fs ×1

javascript ×1

node.js ×1

sorting ×1