Javascript toLowerCase奇怪的行为

Question

我有一个小应用程序读取推文并尝试匹配关键字,我注意到这个特殊字符串的奇怪行为:

var text = "The ??k?? D?un?k? ??gh ?? 'Ugl? ?w??t??r?' ?? n??w ?v??l?bl? http://swoo.sh/IHVaTL";
var lowercase = text.toLowerCase()

现在小写的值是:

un un un'''''''http:// http:// http: // http: // http: // http: // http: // http: // http: // http: //

所以看起来字符串是一个奇怪的格式,我仔细检查了一些字母,发现:

text.charAt(4)
>"N"
text.charCodeAt(5)
>925
'N'.charCodeAt(0)
>78

因此,即使它看起来像普通的N,与它相关联的unicode也对应于

0925थ德瓦纳加里信

根据unicode图表

所以我有点不知道如何发生这种情况,以及是否有"转换"到所谓的真实信件

Answer 1

您可以使用每个拉丁字母（大写和小写）创建一个单独的画布来进行比较。每次遇到不在 Latin-1 范围内的字符时，请为其创建一个新画布，并使用图像差异算法将其与每个拉丁字母字符进行比较。将非拉丁字符替换为最接近的匹配项。

例如：

var latinize = (function () {
    var latinLetters = [],
        canvases = [],
        size = 16,
        halfSize = size >> 1;

    function makeCanvas(chr) {
        var canvas = document.createElement('canvas'),
            context = canvas.getContext('2d');

        canvas.width = size;
        canvas.height = size;
        context.textBaseline = 'middle';
        context.textAlign = 'center';
        context.font = (halfSize) + "px sans-serif";
        context.fillText(chr, halfSize, halfSize);

        return context;
    }

    function nextChar(chr) {
        return String.fromCharCode(chr.charCodeAt(0) + 1);
    }

    function setupRange(from, to) {
        for (var chr = from; chr <= to; chr = nextChar(chr)) {
            latinLetters.push(chr);
            canvases.push(makeCanvas(chr));
        }
    }

    function calcDistance(ctxA, ctxB) {
        var distance = 0,
            dataA = ctxA.getImageData(0, 0, size, size).data,
            dataB = ctxB.getImageData(0, 0, size, size).data;

        for (var i = dataA.length; i--;) {
            distance += Math.abs(dataA[i] - dataB[i]);
        }

        return distance;
    }

    setupRange('a', 'z');
    setupRange('A', 'Z');
    setupRange('', ''); // ignore blank characters

    return function (text) {
        var result = "",
            scores, canvas;

        for (var i = 0; i < text.length; i++) {
            if (text.charCodeAt(i) < 128) {
                result += text.charAt(i);
                continue;
            }
            scores = [];
            canvas = makeCanvas(text.charAt(i));
            for (var j = 0; j < canvases.length; j++) {
                scores.push({
                    glyph: latinLetters[j],
                    score: calcDistance(canvas, canvases[j])
                });
            }
            scores.sort(function (a, b) {
                return a.score - b.score;
            });
            result += scores[0].glyph;
        }

        return result;
    }
}());

这会将您的测试字符串转换为“nike dunk high sb 'ugly Sweater' is now available”。

另一种方法是创建一个巨大的数据结构，将所有相似的字符映射到其 Latin-1 等效字符，就像 @willy 的答案中的库所做的那样。这对于“浏览器 JavaScript”来说非常繁重，并且可能不适合发送到客户端，正如您通过查看该项目的源代码可以看到的那样。

http://jsfiddle.net/Ly5Lt/4/