utf-8中std :: string的子串？C++ 11

Question

utf-8中std :: string的子串？C++ 11

Jon*_*nny 6 c++ utf-8 stdstring substr c++11

我需要获取std :: string中前N个字符的子字符串,假定为utf8.我学到了.substr不起作用的艰难方式......正如......期待的那样.

参考:我的字符串可能如下所示:任务:\n \n1亿2千万匹

Answer 1

我找到了这段代码，我正准备尝试一下。

std::string utf8_substr(const std::string& str, unsigned int start, unsigned int leng)
{
    if (leng==0) { return ""; }
    unsigned int c, i, ix, q, min=std::string::npos, max=std::string::npos;
    for (q=0, i=0, ix=str.length(); i < ix; i++, q++)
    {
        if (q==start){ min=i; }
        if (q<=start+leng || leng==std::string::npos){ max=i; }

        c = (unsigned char) str[i];
        if      (
                 //c>=0   &&
                 c<=127) i+=0;
        else if ((c & 0xE0) == 0xC0) i+=1;
        else if ((c & 0xF0) == 0xE0) i+=2;
        else if ((c & 0xF8) == 0xF0) i+=3;
        //else if (($c & 0xFC) == 0xF8) i+=4; // 111110bb //byte 5, unnecessary in 4 byte UTF-8
        //else if (($c & 0xFE) == 0xFC) i+=5; // 1111110b //byte 6, unnecessary in 4 byte UTF-8
        else return "";//invalid utf8
    }
    if (q<=start+leng || leng==std::string::npos){ max=i; }
    if (min==std::string::npos || max==std::string::npos) { return ""; }
    return str.substr(min,max);
}

Run Code Online (Sandbox Code Playgroud)

更新：这对于我当前的问题很有效。我必须将它与 get-length-of-utf8encoded-stdsstring 函数混合。

我的编译器对这个解决方案发出了一些警告：

我的编译器发出了一些警告。

@PanagiotisKanavos：`std::wstring` 不是 2 字节。请阅读http://utf8everywhere.org/ (14认同)
@PanagiotisKanavos 如果您转换为“wstring”并期望每个字符都适合“wchar_t”，那么您将更难找到错误，但错误也不少。Unicode 字符并不都适合 2 个字节。使用每字符 32 位的字符串是非常庞大的。处理 utf8 几乎总是更有效：将多字节隐藏在“wchar_t”后面不起作用*。 (6认同)
我认为这个函数错误地使用了 substr 。这个函数对我来说无法正常工作，直到我将返回行更改为： return str.substr(min,max-min); (5认同)

归档时间：	10 年，2 月前
查看次数：	6901 次
最近记录：	9 年，7 月前