为什么json.load比ast.literal_eval快一个数量级？

Question

在回答了有关如何解析包含浮点数组的文本文件的问题之后,我运行了以下基准测试:

import timeit
import random

line = [random.random() for x in range(1000)]
n = 10000

json_setup = 'line = "{}"; import json'.format(line)
json_work = 'json.loads(line)'
json_time = timeit.timeit(json_work, json_setup, number=n)
print "json: ", json_time

ast_setup = 'line = "{}"; import ast'.format(line)
ast_work = 'ast.literal_eval(line)'
ast_time = timeit.timeit(ast_work, ast_setup, number=n)
print "ast: ", ast_time

print "time ratio ast/json: ", ast_time / json_time

我多次运行此代码并始终得到这样的结果:

$ python json-ast-bench.py 
json: 4.3199338913
ast: 28.4827561378
time ratio ast/json:  6.59333148483

所以它似乎json比ast这个用例快几个数量级.

我使用Python 2.7.5+和Python 3.3.2+获得了相同的结果.

问题:

1. 为什么json.loads这么快？这个问题似乎意味着ast对于输入数据(双引号或单引号)更灵活
2. 有没有用,我宁愿用例ast.literal_eval以上json.loads,虽然它是慢？

编辑:无论如何,如果性能很重要,我建议使用UltraJSON(正如我在工作中使用的那样,使用相同的迷你基准测试比json快4倍).

Answer 1

这两个函数正在解析完全不同的语言-JSON和Python文字语法.*如上所述literal_eval:

提供的字符串或节点可能只包含以下Python文字结构:字符串,字节,数字,元组,列表,字符串,集合,布尔值和None.

相比之下,JSON只处理双引号JavaScript字符串文字(与Python的**不完全相同),JavaScript编号(仅限int和float***),对象(大致相当于dicts),数组(大致相当于列表) ,JavaScript布尔(与Python不同),和null.

这两种语言碰巧有一些重叠的事实并不意味着它们是同一种语言.

为什么json.loads这么快？

因为Python文字语法是比JSON更复杂和更强大的语言,所以解析起来可能会慢一些.并且,可能更重要的是,因为Python文字语法并不打算用作数据交换格式(事实上,它特别不应该用于此),没有人可能会花费很多精力使其快速进行数据交换****

这个问题似乎意味着ast对于输入数据(双引号或单引号)更灵活

那,和原始字符串文字,Unicode与字节字符串文字,复数,集合,以及JSON无法处理的各种其他事情.

是否有用例我宁愿使用ast.literal_eval而不是json.loads,虽然速度较慢？

是.当你想解析Python文字时,你应该使用ast.literal_eval.(或者,更好的是,重新考虑你的设计,这样你就不想解析Python文字......)

*这是一个模糊的术语.例如,-2不是Python中的文字,而是运算符表达式,但literal_eval可以处理它.当然,元组/列表/字典/集合显示不是文字,但literal_eval可以处理它们 - 除了理解也是显示,并且literal_eval无法处理它们.ast模块中的其他功能可以帮助您找出真正的内容,而不是文字内容,例如ast.dump(ast.parse("expr")).

**例如,"\q"JSON中是错误的.

***从技术上讲,JSON只处理一个"数字"类型,它是浮点数.但Python的json模块解析没有小数点或指数为整数的数字,在许多其他语言的JSON模块中也是如此.

****如果你错过了蒂姆·彼得斯对这个问题的评论:" ast.literal_eval如此轻率地使用,以至于没有人认为值得花时间工作(和工作,工作)加速它.相比之下,JSON库通常用于解析千兆字节的数据."