服务器响应中的BOM搞砸了json解析

Question

我正在尝试编写一个Python脚本,将一些JSON发布到Web服务器并获取一些JSON.我在StackOverflow上拼凑了几个不同的例子,我想我有一些主要工作的东西.

import urllib2
import json

url = "http://foo.com/API.svc/SomeMethod"
payload = json.dumps( {'inputs': ['red', 'blue', 'green']} )
headers = {"Content-type": "application/json;"}

req = urllib2.Request(url, payload, headers)
f = urllib2.urlopen(req)
response = f.read()
f.close()

data = json.loads(response) # <-- Crashes

最后一行抛出异常:

ValueError:无法解码JSON对象

当我看到时response,我看到有效的JSON,但前几个字符是BOM:

>>> response
'\xef\xbb\xbf[\r\n  {\r\n    ... Valid JSON here

所以,如果我手动删除前三个字节:

data = json.loads(response[3::])

一切正常,response变成了字典.

我的问题:

json当你给它一个BOM时,barfs 似乎有点傻.有没有什么不同我可以做urllib或json库让它知道这是一个UTF8字符串并处理它？我不想手动删除前3个字节.

Answer 1

您应该对运行此服务的人大喊大叫,因为UTF-8文本上的BOM没有任何意义.BOM存在以消除字节顺序的歧义,UTF-8被定义为little-endian.

也就是说,理想情况下,您应该在对其进行任何其他操作之前解码字节.幸运的是,Python有一个识别和删除BOM的编解码器:utf-8-sig.

>>> '\xef\xbb\xbffoo'.decode('utf-8-sig')
u'foo'

所以你只需要:

data = json.loads(response.decode('utf-8-sig'))

Answer 2

如果我不是唯一遇到相同问题的人,而是使用requests模块而不是urllib2,这里有一个适用于Python 2.6和3.3的解决方案:

import requests
r = requests.get(url, params=my_dict, auth=(user, pass))
print(r.headers['content-type'])  # 'application/json; charset=utf8'
if r.text[0] == u'\ufeff':  # bytes \xef\xbb\xbf in utf-8 encoding
    r.encoding = 'utf-8-sig'
print(r.json())