包含无效字符的字节到字符串转换

Question

我需要解析可能无效或包含一些错误的 UDP 数据包。我想.在字节到字符串转换后替换无效字符，以显示数据包的内容。

我该怎么做？这是我的代码：

func main() {
   a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}
   s := string(a)
   s = strings.Replace(s, string(0xFFFD), ".", 0)

   fmt.Println("s: ", s) // I would like to display "a..b."
   for _, r := range s {
      fmt.Println("r: ", r)
   }
   rs := []rune(s)
   fmt.Println("rs: ", rs)
}

Answer 1

您的方法的根本问题是类型转换为的结果[]byte中string没有任何U+FFFDs：此类型转换仅逐字地将字节从源复制到目标。
\n与字节切片一样，Go 中的字符串不必包含 UTF-8 编码的文本；它们可以包含任何数据，包括与文本无关的不透明二进制数据。

\n

但是对字符串 \xe2\x80\x94 的一些操作（即使用\xe2\x80\x94进行类型转换[]rune并迭代它们）确实range会将字符串解释为 UTF-8 编码的文本。\n这正是您被绊倒的地方：您的range调试循环尝试解释该字符串，并且每次尝试解码正确编码的代码点失败时，range都会产生一个替换字符U+FFFD。
\n重申一下，通过类型转换获得的字符串不包含您想要用正则表达式替换的字符。

\n

至于如何从数据中实际生成有效的 UTF-8 编码字符串，您可以采用两步过程：

\n

\n
1. 像您已经做的那样，将字节切片类型转换为字符串\xe2\x80\x94。
\n
2. 使用任何将字符串解释为 UTF-8\xe2\x80\x94 的方法来替换 U+FFFD，它将在迭代过程中动态出现\xe2\x80\x94。
\n

\n

像这样的东西：

\n

var sb strings.Builder\nfor _, c := range string(b) {\n  if c == \'\\uFFFD\' {\n    sb.WriteByte(\'.\')\n  } else {\n    sb.WriteRune(c)\n  }\n}\nreturn sb.String()\n

\n

关于性能的说明：由于将 a 类型转换[]byte为string复制内存\xe2\x80\x94，因为字符串是不可变的，而切片则不是\xe2\x80\x94，因此类型转换的第一步可能会浪费处理大块的代码的资源数据和/或在紧密的处理循环中工作。
\n在这种情况下，可能值得使用适用于字节切片的包DecodeRune的函数encoding/utf8。\n其文档中的示例可以轻松地适应上面的循环。

\n

另请参阅：从字符串中删除无效的 UTF-8 字符

\n

Answer 2

@kostix 答案是正确的，并且非常清楚地解释了从字符串中扫描 unicode 符文的问题。

只需添加以下注释：如果您的目的是仅查看 ASCII 范围内的字符（可打印字符 < 127）并且您并不真正关心其他 unicode 代码点，那么您可以更直白：

// create a byte slice with the same byte length as s
var bs = make([]byte, len(s))

// scan s byte by byte :
for i := 0; i < len(s); i++ {
    switch {
    case 32 <= s[i] && s[i] <= 126:
        bs[i] = s[i]

    // depending on your needs, you may also keep characters in the 0..31 range,
    // like 'tab' (9), 'linefeed' (10) or 'carriage return' (13) :
    // case s[i] == 9, s[i] == 10, s[i] == 13:
    //   bs[i] = s[i]

    default:
        bs[i] = '.'
    }
}


fmt.Printf("rs: %s\n", bs)

操场

此函数将为您提供接近“文本”部分的内容hexdump -C。

Answer 3

strings.ToValidUTF8()您可能想为此使用：

ToValidUTF8 返回字符串 s 的副本，其中每次运行的无效 UTF-8 字节序列都被替换字符串替换，该替换字符串可能为空。

它“看起来”正是您所需要的。测试它：

a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}
s := strings.ToValidUTF8(string(a), ".")
fmt.Println(s)

输出（在Go Playground上尝试）：

a.b.

a我写“貌似”是因为正如你所看到的，和:之间有一个点，b因为可能有 2 个字节，但有一个无效序列。

请注意，您可以避免[]byte=>string转换，因为有一个bytes.ToValidUTF8()等效的操作并返回 a []byte：

a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}
a = bytes.ToValidUTF8(a, []byte{'.'})
fmt.Println(string(a))

输出将是相同的。在Go Playground上试试这个。

如果您对多个（无效序列）字节可能被缩小为单个点感到困扰，请继续阅读。

另请注意，要检查可能包含或不包含文本的任意字节片，您可以简单地使用hex.Dump()它生成如下输出：

a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}
fmt.Println(hex.Dump(a))

输出：

00000000  61 ff af 62 bf                                    |a..b.|

这是您预期的输出a..b.以及其他（有用的）数据，例如十六进制偏移量和字节的十六进制表示形式。

为了获得“更好”的输出图像，请尝试使用更长的输入：

a = []byte{'a', 0xff, 0xaf, 'b', 0xbf, 50: 0xff}
fmt.Println(hex.Dump(a))

00000000  61 ff af 62 bf 00 00 00  00 00 00 00 00 00 00 00  |a..b............|
00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 ff                                          |...|

在Go Playground上尝试一下。