RE错误:Mac OS X上的非法字节序列

Question

我正在尝试替换Mac OS X上的Makefile中的字符串,以便交叉编译到iOS.该字符串嵌入了双引号.命令是:

sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

错误是:

sed: RE error: illegal byte sequence

我试着逃避双引号,逗号,破折号和冒号,没有任何快乐.例如:

sed -i "" 's|\"iphoneos-cross\"\,\"llvm-gcc\:\-O3|\"iphoneos-cross\"\,\"clang\:\-Os|g' Configure

我有一点时间调试这个问题.有谁知道如何sed打印非法字节序列的位置？或者有谁知道非法字节序列是什么？

Answer 1

^{显示症状的示例命令:sed 's/./@/' <<<$'\xfc'failed,因为byte 0xfc不是有效的UTF-8 char.
请注意,相比之下,GNU sed(Linux,但也可以在macOS上安装)只是传递无效字节,而不报告错误.}

如果您不介意失去对真实语言环境的支持,那么使用之前接受的答案是一种选择(如果您使用的是美国系统而且您永远不需要处理外国字符,那可能没问题.)

然而,同样的效果就可以了即席为单个命令只:

LC_ALL=C sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

注:重要的是一个有效 LC_CTYPE的设置C,因此LC_CTYPE=C sed ...将正常也行,但如果LC_ALL碰巧被设置(除其他东西C),它将覆盖单个LC_*-category变量,如LC_CTYPE.因此,最稳健的方法是设置LC_ALL.

然而,(有效)的设定LC_CTYPE,以C把字符串,就好像每个字节是它自己的特点(没有进行基于编码规则的解释),有没有考虑对-多字节点播- UTF-8编码的是OS X采用默认,外国字符有多字节编码.

简而言之:设置LC_CTYPE为C使shell和实用程序仅将基本英文字母识别为字母(7位ASCII范围内的字母),以便外部字符.不会被视为字母,例如导致大写/小写转换失败.

同样,如果您不需要匹配多字节编码的字符é,并且只是想传递这些字符,这可能会很好.

如果这不够和/或您想了解原始错误的原因(包括确定导致问题的输入字节)并按需执行编码转换,请阅读下文.

问题是输入文件的编码与shell的编码不匹配.
更具体地说,输入文件包含以UTF-8无效的方式编码的字符(如评论中所述@KlasLindbäck) - 这就是sed错误消息试图说的内容invalid byte sequence.

最有可能的是,您的输入文件使用单字节8位编码,例如ISO-8859-1,经常用于编码"西欧"语言.

例:

重音字母à具有Unicode代码点0xE0(224) - 与中的相同ISO-8859-1.然而,由于本质UTF-8编码,该单个码点被表示为2个字节- 0xC3 0xA0,而试图通过该单字节 0xE0是无效下UTF-8.

这里的一个问题的示范使用字符串voilà编码为ISO-8859-1,与à表示为一个(经由ANSI-C-引述的bash串(字节$'...'使用)\x{e0}来创建字节):

请注意,该sed命令实际上是一个简单地传递输入的无操作,但是我们需要它来激发错误:

  # -> 'illegal byte sequence': byte 0xE0 is not a valid char.
sed 's/.*/&/' <<<$'voil\x{e0}'

要简单地忽略该问题,LCTYPE=C可以使用上述方法:

  # No error, bytes are passed through ('á' will render as '?', though).
LC_CTYPE=C sed 's/.*/&/' <<<$'voil\x{e0}'

如果要确定输入的哪些部分导致问题,请尝试以下操作:

  # Convert bytes in the 8-bit range (high bit set) to hex. representation.
  # -> 'voil\x{e0}'
iconv -f ASCII --byte-subst='\x{%02x}' <<<$'voil\x{e0}'

输出将以十六进制形式显示所有具有高位设置(超过7位ASCII范围的字节)的字节.(但是,请注意,还包括正确编码的UTF-8多字节序列 - 需要更复杂的方法来专门识别UTF-8字节中的无效字节.)

按需执行编码转换:

标准实用程序iconv可用于转换为(-t)和/或from(-f)编码; iconv -l列出所有支持的.

例子:

在上面的例子的ISO-8859-1基础上LC_CTYPE,将FROM转换为shell中有效的编码(基于,UTF-8默认情况下是 - )

  # Converts to UTF-8; output renders correctly as 'voilà'
sed 's/.*/&/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

请注意,此转换允许您正确匹配外来字符:

  # Correctly matches 'à' and replaces it with 'ü': -> 'voilü'
sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

要将输入BACK转换为ISO-8859-1处理后,只需将结果传递给另一个iconv命令:

sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')" | iconv -t ISO-8859-1

Answer 2

将以下行添加到您的~/.bash_profile或~/.zshrc文件中.

export LC_CTYPE=C 
export LANG=C

Answer 3

我的解决方法是使用 Perl：

find . -type f -print0 | xargs -0 perl -pi -e 's/was/now/g'

Answer 4

mklement0 的答案很好，但我有一些小调整。

bash在使用时显式指定编码似乎是个好主意iconv。另外，我们应该在前面添加一个字节顺序标记（尽管 unicode 标准不推荐这样做），因为如果没有字节顺序标记，UTF-8 和 ASCII 之间可能会出现合理的混淆。不幸的是，iconv当您显式指定字节序（UTF-16BE或UTF-16LE）时，不会在前面添加字节顺序标记，因此我们需要使用UTF-16，它使用特定于平台的字节序，然后使用file --mime-encoding来发现所使用的真正字节序iconv。

（我将所有编码都大写，因为当您列出所有iconv支持的编码时，iconv -l它们都是大写的。）

# Find out MY_FILE's encoding
# We'll convert back to this at the end
FILE_ENCODING="$( file --brief --mime-encoding MY_FILE )"
# Find out bash's encoding, with which we should encode
# MY_FILE so sed doesn't fail with 
# sed: RE error: illegal byte sequence
BASH_ENCODING="$( locale charmap | tr [:lower:] [:upper:] )"
# Convert to UTF-16 (unknown endianness) so iconv ensures
# we have a byte-order mark
iconv -f "$FILE_ENCODING" -t UTF-16 MY_FILE > MY_FILE.utf16_encoding
# Whether we're using UTF-16BE or UTF-16LE
UTF16_ENCODING="$( file --brief --mime-encoding MY_FILE.utf16_encoding )"
# Now we can use MY_FILE.bash_encoding with sed
iconv -f "$UTF16_ENCODING" -t "$BASH_ENCODING" MY_FILE.utf16_encoding > MY_FILE.bash_encoding
# sed!
sed 's/.*/&/' MY_FILE.bash_encoding > MY_FILE_SEDDED.bash_encoding
# now convert MY_FILE_SEDDED.bash_encoding back to its original encoding
iconv -f "$BASH_ENCODING" -t "$FILE_ENCODING" MY_FILE_SEDDED.bash_encoding > MY_FILE_SEDDED
# Now MY_FILE_SEDDED has been processed by sed, and is in the same encoding as MY_FILE

Answer 5

您只需在sed命令之前通过管道传送iconv命令即可。\nEx 带有 file.txt 输入：

\n\n

\n

iconv -f ISO-8859-1 -t UTF8-MAC 文件.txt | sed \'s/某事/\xc3\xa0\xc3\xa9\xc3\xa8\xc3\xaa\xc3\xa7\xc3\xb9\xc3\xbb/g\' | ……

\n

\n\n

-f选项是“from”代码集，-t 选项是“to”代码集转换。

\n\n

注意大小写，网页通常显示小写，如 < charset=iso-8859-1"/>\n 而iconv使用大写。\n使用命令iconv -l可以在系统中获得iconv支持的代码集列表

\n\n

UTF8-MAC是用于转换的现代操作系统 Mac 代码集。

\n