如何在MongoDB中设置缓冲区偏移范围，它不允许在BSON对象中上传超过16MB的文件？

Question

我的流程和代码：

从表单数据上传图像并将图像的 BSON 字符串存储到数据库，以下是步骤和代码：

1. 从 multer upload 上传文件
2. 从文件系统读取文件 - fs
3. 将图像内容字符串转换为base64字符串
4. 将base64字符串转换为BSON字符串

配置：

node -v: v12.13.1
npm -v: 6.12.1
fs-extra: ^8.1.0
multer: ^1.4.2

代码：

var upload = multer({ 
    storage: multer.diskStorage({
        destination: function (req, file, cb) {
            cb(null, 'uploads')
        },
        filename: function (req, file, cb) {
            cb(null, file.fieldname + '-' + Date.now())
        }
    })
});
upload.single('picture'), (req, res) => {
    
    let imageString = fs.readFileSync(req.file.path);
    let encodeImage = imageString.toString('base64');
    let bufferImage = Buffer.from(encodeImage, 'base64');
    var finalObj = {
        contentType: req.file.mimetype,
        image: bufferImage
    };
    db.collection('filesUpload').insertOne(finalObj, (err, result) => {
        if (err) {
            console.log(err);
        }else{
            console.log('success');
        }
    });

});

什么在起作用？ 我可以成功上传低于 16MB 的图像，并且可以从数据库中正确读取和检索它。

什么不工作？

我无法上传 16MB 以上的图像。

错误：

RangeError [ERR_OUT_OF_RANGE]: The value of "offset" is out of range. It must be >= 0 && <= 17825792. Received 18646861
at Buffer.write (buffer.js:1019:5)
at serializeObjectId (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\parser\serializer.js:274:14)    at serializeInto (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\parser\serializer.js:935:17)    
at serializeObject (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\parser\serializer.js:347:18)  
at serializeInto (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\parser\serializer.js:727:17)    
at serializeObject (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\parser\serializer.js:347:18)  
at serializeInto (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\parser\serializer.js:941:17)    
at BSON.serialize (D:\api\node_modules\mongodb\node_modules\bson\lib\bson\bson.js:64:28)
at Msg.serializeBson (D:\api\node_modules\mongodb\lib\core\connection\msg.js:126:22)
at Msg.makeDocumentSegment (D:\api\node_modules\mongodb\lib\core\connection\msg.js:118:33)
at Msg.toBin (D:\api\node_modules\mongodb\lib\core\connection\msg.js:104:25)
at serializeCommand (D:\api\node_modules\mongodb\lib\core\connection\pool.js:779:41)
at Pool.write (D:\api\node_modules\mongodb\lib\core\connection\pool.js:927:3)
at _command (D:\api\node_modules\mongodb\lib\core\wireprotocol\command.js:128:10)
at command (D:\api\node_modules\mongodb\lib\core\wireprotocol\command.js:28:5)
at writeCommand (D:\api\node_modules\mongodb\lib\core\wireprotocol\write_command.js:47:3) {
    code: 'ERR_OUT_OF_RANGE'
}

我不知道如何解决这个问题，我认为这是 MongoDB 错误，感谢您的帮助。

Answer 1

这里我使用了称为BSON Document 的二进制 JSON，因此根据MongoDB 文档，在 MongoDB 中存储存在限制：

• BSON 文档最大大小为 16 MB
• MongoDB 支持 BSON 文档的嵌套不超过 100 层

另一种替代方法是什么？

网格文件系统：

• 定义：

根据 MongoDB 文档MongoDB GridFS 文档：

GridFS 是用于存储和检索超过 BSON 文档大小限制 16 MB 的文件的规范。GridFS 不支持多文档事务。GridFS 不是将文件存储在单个文档中，而是将文件划分为多个部分或块，并将每个块存储为单独的文档。

• API参考：

如果你需要用 NodeJS 来实现，那么 MongoDB 已经提供了文档，这里是MongoDB API 参考文档

• 堆栈溢出参考：

如果您在实现方面需要任何帮助，请参阅堆栈溢出帖子，这里是堆栈溢出参考