解析 CSV 而不下载/保存

Question

我正在创建一个允许用户上传 CSV 的应用程序。CSV 只是一个逗号分隔的文件。

在前端，我使用 PUT 请求将文件发送到后端：

Reactjs | 文件上传_frontend.js

sendFile = () => {
  const data = new FormData();
  data.append('file', this.myCSV_file);

  axios.post('/parse-csv', data)
  .then(response => console.log('File sent to server for parsing')
  .catch(error => console.log(error);
}

上面的代码成功地将上传的 CSV（信息）发送到我的服务器，该服务器正在端点侦听/parse-csv。

我正在使用csv-parsernpm 包来帮助解决这个问题。

Nodejs | 文件上传后端.js

const csv = require('csv-parser');
const fs  = require('fs');
const results = [];

app.post('/parse-csv', (request, response) => {

  fs.createReadStream(request.files.file.data) { // this is a buffer on the req obj
    .pipe(csv())
    .on('data', results.push())
    .on('end', (results) => {
      console.log(results);
    }
  }

}

作为参考，从前端到后端的请求对象如下所示：

Request from upload { name: 'data.csv',
data: <Buffer 22 89 56 24 5y 86 k9 22 . ... >,
encoding: '7bit',
truncated: false,
mimetype: 'text/csv',
md5: [Function: md5],
mv: [Function: mv] }

每个请求都会出错，并显示一条似乎与我的标题行（csv 文件中的第一行）相关的消息，消息内容如下：

错误：ENOENT：没有这样的文件或目录，打开“我的标题行是引用的此处”

...那么数据如下所示。

我是否必须将 CSV 文件保存在某个目录中，然后先解析它？我只是在寻找一种将 CSV 解析为 json 的方法，这样我就可以将每一行作为条目插入到我的数据库中。

Answer 1

fs.createReadStream接受路径作为参数，可以是字符串、Buffer 或 URL。

由于您传递了 a ，它会尝试将 a作为路径Buffer打开，因此会出现错误Buffer

错误：ENOENT：没有这样的文件或目录，打开“我的标题行是引用的此处”

您需要先从缓冲区创建一个流，然后再将其传输到 CSV 解析器。有多种方法可以解决这个问题；实现使用缓冲区的可读流就是其中之一。例如

const { Readable } = require('stream');

class BufferStream extends Readable {
  constructor(opts) {
    super(opts);
    this.buf = opts.buf;
  }
  _read(size) {
    this.push(this.buf);
    this.push(null); // signal end of stream
  }
}

现在实现请求处理程序以使用此类。

app.post('/parse-csv', (request, response) => {
    const results = [];
    const bufStream = new BufferStream(request.files.file.data);

    bufStream.pipe(csv())
    .on('data', (data) => results.push(data))
    .on('end', (results) => {
      console.log(JSON.stringify(results));
      response.sendStatus(200);
    }
  }

}