如何将全角字符转换为半角字符（反之亦然）？

Question

这是我的简单问题，如何从命令行将半角转换为全角。我认为这将内置在我的iconv命令行中，但我在这里没有找到任何内容：

\n

$ iconv  -l | grep -i full\n-> nothing\n$ iconv  -l | grep -i half\n-> nothing\n

\n

典型的输入是：

\n

$ echo -n "\xef\xbc\xa1b\xef\xbc\x99\xef\xbc\x98\xef\xbc\x97\xef\xbc\x96\xef\xbc\x95\xef\xbc\x94\xef\xbc\x93\xef\xbc\x92\xef\xbc\x91\xef\xbc\x90" | iconv -f utf8 -t utf16be | hexdump -C\n00000000  ff 21 00 62 ff 19 ff 18  ff 17 ff 16 ff 15 ff 14  |.!.b............|\n00000010  ff 13 ff 12 ff 11 ff 10                           |........|\n00000018\n

\n

Answer 1

如果您有uconvICU 工具中的实用程序（icu-devtools基于 Debian 的操作系统上的软件包）：

\n

$ echo \'\xef\xbc\xa1b\xef\xbc\x99\xef\xbc\x98\xef\xbc\x97\xef\xbc\x96\xef\xbc\x95\xef\xbc\x94\xef\xbc\x93\xef\xbc\x92\xef\xbc\x91\xef\xbc\x90\' | uconv -x Fullwidth-Halfwidth\nAb9876543210\n

\n

（请注意，它还会将通常为全角的字符（例如韩语或日语脚本中的字符）转换为半角表示形式）。

\n

改为Halfwidth-Fullwidth相反。

\n

如果没有，并且您只对转换 ASCII 可打印字符的全角变体感兴趣：

\n

$ echo \'\xef\xbc\xa1b\xef\xbc\x99\xef\xbc\x98\xef\xbc\x97\xef\xbc\x96\xef\xbc\x95\xef\xbc\x94\xef\xbc\x93\xef\xbc\x92\xef\xbc\x91\xef\xbc\x90\' | perl -C -pe \'y/\\x{ff01}-\\x{ff5e}/!-~/\'\nAb9876543210\n

\n

或者也将 U+3000（表意空间）转换为 ASCII 空间：

\n

$ echo \'\xef\xbc\xa1b\xef\xbc\x99\xef\xbc\x98\xef\xbc\x97\xef\xbc\x96\xef\xbc\x95\xef\xbc\x94\xef\xbc\x93\xef\xbc\x92\xef\xbc\x91\xef\xbc\x90\' | perl -C -pe \'y/\\x{3000}\\x{ff01}-\\x{ff5e}/ !-~/\'\nAb9876543210\n

\n

curl -s https://www.unicode.org/Public/UNIDATA/UnicodeData.txt | grep \'<wide>\'\n

\n

将显示一些额外的内容，即一些非 ASCII 字符的全角变体，您可以将其添加到列表中。

\n

perl -C -pe \'y/\\x{3000}\\x{ff01}-\\x{ff60}\\x{ffe0}-\\x{ffe6}/ !-~\\x{2985}\\x{2986}\\xa2\\xa3\\xac\\xaf\\xa6\\xa5\\x{20a9}/\'\n

\n

（搜索<narrow>将显示一些通常全角字符的半角变体，但这是一个很大的列表并且具有不连续的范围，因此添加这些会使表达式变得更大）。

\n

在某些系统上，您可能可以tr在 C.UTF-8 语言环境中执行相同的操作，但不能使用当前版本的 GNU tr，除非您的操作系统供应商进行了修补。

\n

$ uname\nFreeBSD\n$ echo \'\xef\xbc\xa1b\xef\xbc\x99\xef\xbc\x98\xef\xbc\x97\xef\xbc\x96\xef\xbc\x95\xef\xbc\x94\xef\xbc\x93\xef\xbc\x92\xef\xbc\x91\xef\xbc\x90\' | LC_ALL=C.UTF-8 tr $\'\\u3000\\uff01-\\uff5e\' \' !-~\'\nAb9876543210\n

\n

（还假设 shell 支持 zsh\'s $\'\\uXXXX\'）。

\n

对于反向转换，只需将 更改y/from/to/为y/to/from/。

\n

perl它的模块中还有一个 Unicode 数据的接口Unicode::UCD，所以你也可以这样做：

\n

perl -C -MUnicode::UCD=charprop -pe \'\n  s{\\p{Decomposition_Type: Wide}}{\n    $cache{$&} //= charprop(ord($&), "Decomposition_Mapping")\n  }ge\'\n

\n

尽管即使通过使用缓存来缓解，速度还是相当慢。详情请参阅perldoc perluniprops和。perldoc Unicode::UCD

\n

或者对那些具有广泛分解类型的字符使用NFKD 分解：

\n

perl -MUnicode::Normalize=NFKD -C -pe \'s/\\p{Dt=Wide}/NFKD$&/ge\'\n

\n

如果要转换为 ASCII，至少在 GNU 系统上，iconv -t ASCII//translit也会将这些字符（以及更多字符转换为最接近的 ASCII 字符\xc2\xb9 表示形式）

\n

$ echo \'\xef\xbc\xb3\xef\xbd\x94\xc3\xa9\xef\xbd\x90\xef\xbd\x88\xef\xbd\x81\xef\xbd\x8e\xef\xbd\x85\' | iconv -t ASCII//translit\nStephane\n

\n

显然，没有办法做到相反的事情。

\n

无论如何，在这里，它不是将同一个字符从字符集转换到您想要的字符集，而是从某些字符到其他字符的某种形式的音译。

\n

iconv -l类似uconv -l列出了支持的编码/字符集。uconv -L列出音译者。GNUiconv只有//translit在目标字符集中不存在该字符时才给出可能的近似值（此外，//ignore它只是丢弃它们）。

\n\n

^{\xc2\xb9 或类似->或->中的字符，顺便说一句，它们没有全角形式，但曾经近似过；例如，您可能想要转换为而不是转换为全角时，这里提到的解决方案都无法处理。\xc3\xa6ae\xef\xac\x83ffia\xef\xac\x83x\xef\xbd\x81\xef\xbd\x86\xef\xbd\x86\xef\xbd\x89\xef\xbd\x98\xef\xbd\x81\xef\xac\x83\xef\xbd\x98}

\n