清除格式错误的UTF-8数据

Question

背景

使用Swift,我试图URLSession通过加载HTML 而不是将其加载到WKWebView第一个,因为我只需要HTML 而不需要子资源.我遇到了一些问题,某些页面在加载WKWebView时会起作用,但是当通过URLSession(甚至简单NSString(contentsOf: url, encoding String.Encoding.utf8.rawValue))加载时,UTF-8转换失败.

如何重现

这失败了(打印"nil"):

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan")!, encoding: String.Encoding.utf8.rawValue))

但是将URL更改为站点的主页,它会成功:

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp")!, encoding: String.Encoding.utf8.rawValue))

题

如何"清理"包含格式错误的UTF-8的URL返回的数据？我想删除或替换格式错误的UTF-8中的任何无效序列,以便可以查看其余部分.WKWebView能够很好地呈现页面(并声称它也是UTF-8内容),您可以通过访问URL看到:http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-全食品换一个报-13-7-billion_b_17171132.html？utm_hp_ref =日本及IR =日本

Answer 1

这是一种创建Stringfrom(可能)格式错误的UTF-8数据的方法:

• 将网站内容读入Data对象.
• 附加一个0字节使其成为"C字符串"
• 使用String(cString:)的转换.此初始化程序使用Unicode替换字符("\u{FFFD}")替换格式错误的UTF-8代码单元序列.
• 可选:删除所有出现的替换字符.

"清洁"过程示例:

var data = Data(bytes: [65, 66, 200, 67]) // malformed UTF-8

data.append(0)
let s = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in String(cString: p) }
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")

print(clean) // ABC

当然,这可以定义为自定义init方法:

var data = Data([65, 66, 200, 67]) // malformed UTF-8
data.append(0)
let s = data.withUnsafeBytes { p in
    String(cString: p.bindMemory(to: CChar.self).baseAddress!)
}
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")
print(clean) // ABC

用法:

extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in
            String(cString: p).replacingOccurrences(of: "\u{FFFD}", with: "")
        }
    }
}

清洁可以更"直接"进行使用transcode与

extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes{ p in
            String(cString: p.bindMemory(to: CChar.self).baseAddress!)
        }.replacingOccurrences(of: "\u{FFFD}", with: "")
    }
}

这基本上就是 String(cString:) 比较 CString.swift和 StringCreate.swift.

另一种选择是使用UTF8编解码器decode()方法并忽略错误:

let data = Data(bytes: [65, 66, 200, 67])
let s = String(malformedUTF8: data) 
print(s) // ABC