在node.js应用程序中读取文件时出现奇怪的unicode字符

Question

我正在尝试编写一个节点应用程序,该应用程序读入一组文件,将它们分成行,然后将这些行放入一个数组中.很简单.除了我正在使用的一些SQL文件之外,它适用于很多文件.出于某种原因,当我将线分开时,我似乎正在获得某种unicode输出.该应用程序看起来像这样:

fs = require("fs");
var data = fs.readFileSync("test.sql", "utf8");
console.log(data);
lines = data.split("\n");
console.log(lines);

输入文件如下所示:

use whatever
go

输出如下所示:

??use whatever
go

[ '??u\u0000s\u0000e\u0000 \u0000w\u0000h\u0000a\u0000t\u0000e\u0000v\u0000e\u0000r\u0000',
  '\u0000g\u0000o\u0000',
  '\u0000' ]

正如您所看到的,文件开头有一些无法识别的字符.在读取数据并直接输出后,除了这个字符外,它看起来还可以.但是,如果我然后尝试将其拆分成行,我会得到所有这些类似unicode的字符.基本上它是每个开头的所有实际字符"\ u0000".

我不知道这里发生了什么,但它似乎与文件本身的字符有关.如果我将文件的文本复制并粘贴到另一个新文件并在新文件上运行应用程序,它可以正常工作.我认为在复制和粘贴过程中,任何导致此问题的因素都会被删除.

Answer 1

您的文件是UTF-16 Little 大 Endian,不是UTF-8.

var data = fs.readFileSync("test.sql", "utf16le"); //Not sure if this eats the BOM

不幸的是,node.js只支持UTF-16 Little Endian或UTF-16LE(无法通过阅读文档确定它们之间存在细微差别;即UTF-16LE不使用BOM),因此您必须使用iconv或者以其他方式将文件转换为UTF-8.

例:

var Iconv  = require('iconv').Iconv,
    fs = require("fs");

var buffer = fs.readFileSync("test.sql"),
    iconv = new Iconv( "UTF-16", "UTF-8");

var result = iconv.convert(buffer).toString("utf8");