使用boost locale进行字符串转换:Windows和Linux上的不同行为

Question

这是我的示例代码:

#pragma execution_character_set("utf-8")

#include <boost/locale.hpp>
#include <boost/algorithm/string/case_conv.hpp>
#include <iostream>

int main()
{
    std::locale loc = boost::locale::generator().generate("");
    std::locale::global(loc);

#ifdef MSVC
    std::cout << boost::locale::conv::from_utf("grüßen vs ", "ISO8859-15");
    std::cout << boost::locale::conv::from_utf(boost::locale::to_upper("grüßen"), "ISO8859-15") << std::endl;
    std::cout << boost::locale::conv::from_utf(boost::locale::fold_case("grüßen"), "ISO8859-15") << std::endl;
    std::cout << boost::locale::conv::from_utf(boost::locale::normalize("grüßen", boost::locale::norm_nfd), "ISO8859-15") << std::endl;
#else
    std::cout << "grüßen vs ";
    std::cout << boost::locale::to_upper("grüßen") << std::endl;
    std::cout << boost::locale::fold_case("grüßen") << std::endl;
    std::cout << boost::locale::normalize("grüßen", boost::locale::norm_nfd) << std::endl;
#endif

    return 0;
}

Windows 7上的输出是:

grüßen vs GRÜßEN
grüßen
grußen

Linux上的输出(openSuSE 12.3)是:

grüßen vs GRÜSSEN
grüssen
grüßen

在Linux上,德语字母'ß'按预期转换为'SS',而此字符在Windows上保持不变.

问题:为什么会这样？如何更正转换？

一些注意事项:Windows控制台代码页设置为1252.在这两种情况下,语言环境都设置为de_DE.我尝试用"de_DE.UTF-8"替换上面列表中的默认语言环境设置 - 没有任何影响.在Windows上,此代码使用Visual Studio 2013进行编译,在Linux上使用GCC 4.7,启用了c ++ 11.

任何建议都表示赞赏 - 提前感谢您的支持!

Answer 1

Windows 不会进行这种转换，因为如果字符串长度突然改变，对开发人员来说“这会太混乱”。并且 boost 大概只是将所有 Unicode 转换委托给底层 Windows API

来源

我想处理这个问题的可靠方法是使用第三方 Unicode 库，例如 ICU。