在 NodeJS 服务器之间发送文件的最有效方式是什么？

Question

介绍

假设在同一个本地网络上，我们有两个使用 Express 设置的 Node JS 服务器：服务器 A 用于 API，服务器 F 用于表单。

• 服务器 A 是一个 API 服务器，它接收请求并将其保存到 MongoDB 数据库（文件存储为 Buffer，其详细信息存储为其他字段）
• 服务器 F 提供表单，处理表单发布并将表单数据发送到服务器 A。

在接收服务器是 Express API 的两个 NodeJS 服务器之间发送文件的最有效方法是什么？文件大小在哪里重要？

1.HTTP方式

如果我发送的文件是 PDF 文件（不会超过 50mb），将整个内容作为字符串通过 HTTP 发送是否有效？

算法如下：

• 服务器 F 使用https://www.npmjs.com/package/multer处理文件请求并保存文件
• 然后服务器 F 读取此文件并通过https://github.com/request/request以及文件的一些详细信息发出 HTTP 请求
• 服务器 A 收到此请求并将文件内容从字符串转换为 Buffer 并将记录与文件详细信息一起保存在 MongoDB 中。

在这个算法中，Server A（存储到MongoDB时）和Server F（发送到Server A时）都将文件读入内存，两台服务器之间的请求大小与文件大小相同. （50Mb 的请求可以吗？）

但是，需要考虑的一件事是 - 使用这种方法 - 我将在整个过程中使用 ExpressJS 风格的 API，这将与应用程序的其余部分保持一致，其中/list,/details请求也在路由中定义。我喜欢一致性。

2.Socket.IO方式

与此算法相反，我探索了https://github.com/nkzawa/socket.io-stream方式，它脱离了服务器 A 上 HTTP API 的一致性（因为 socket.io 事件的处理程序被定义不在路线中，而是在具有var server = http.createServer(app);)的文件中。

服务器 F 处理表单数据如下routes/some_route.js：

router.post('/', multer({dest: './uploads/'}).single('file'), function (req, res) {
    var api_request = {};
    api_request.name = req.body.name;
    //add other fields to api_request ...

    var has_file = req.hasOwnProperty('file');

    var io = require('socket.io-client');

    var transaction_sent = false;
    var socket = io.connect('http://localhost:3000');
    socket.on('connect', function () {
        console.log("socket connected to 3000");

        if (transaction_sent === false) {
            var ss = require('socket.io-stream');
            var stream = ss.createStream();

            ss(socket).emit('transaction new', stream, api_request);

            if (has_file) {
                var fs = require('fs');
                var filename = req.file.destination + req.file.filename;

                console.log('sending with file: ', filename);

                fs.createReadStream(filename).pipe(stream);
            }

            if (!has_file) {
                console.log('sending without file.');
            }
            transaction_sent = true;

            //get the response via socket
            socket.on('transaction new sent', function (data) {
                console.log('response from 3000:', data);
                //there might be a better way to close socket. But this works.
                socket.close();
                console.log('Closed socket to 3000');

            });

        }


    });


});

我说我会处理小于 50Mb 的 PDF 文件。但是，如果我将来使用此程序发送更大的文件，socket.io 是否是处理 1GB 文件的更好方法，因为它使用流？

这种方法确实会发送文件和详细信息，但我是这个库的新手，不知道它是否应该用于此目的，或者是否有更好的利用方式。

最后的想法

我应该探索哪些替代方法？

• 我是否应该通过 SCP 发送文件并使用文件详细信息（包括我发送的位置）发出 HTTP 请求，从而将文件协议和 API 请求分开？
• 我应该总是使用流，因为它们不会将整个文件存储到内存中吗？（这就是他们的工作方式，对吧？）
• 这个https://github.com/liamks/Delivery.js？

参考：

• 两个 node.js 服务器之间的文件/数据传输这让我尝试使用套接字流方式。
• 以 HTTP 方式通过 http 在两个 node.js 服务器之间传输文件

Answer 1

实现这一目标的方法有很多，但正确执行的方法却不多！

当您在浏览器中使用 socket io 和 wesockets 时，它们是高效的，但由于您不这样做，所以就没有必要使用它。

您可以尝试的第一种方法是使用nodejs的内置Net模块，基本上它将在服务器之间建立tcp连接并传递数据。

您还应该记住，您需要发送数据块而不是整个文件，socket.writenet 模块的方法似乎很适合您的情况检查它： https: //nodejs.org/api/net.html

但根据文件的大小和并发性，内存消耗可能会相当大。

如果您在两台服务器上都运行 Linux，您甚至可以使用名为 scp 的简单 Linux 命令在零处发送文件

nohup scp -rpC /var/www/httpdocs/* remote_user@remote_domain.com:/var/www/httpdocs &

您甚至可以通过 Windows 到 Linux 或其他方式执行此操作。

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

Windows 的客户端 scp 是 pscp.exe

希望这可以帮助 ！