在Python中打开一个大型JSON文件

Question

当我尝试使用json.load()打开时,我有一个1.7 GB的JSON文件然后它给出了内存错误,如何读取python中的json文件？

我的JSON文件是包含特定键的大量对象.

编辑:如果它只是一个大的对象数组,并且事先知道对象的结构,那么就不需要使用我们可以逐行读取的工具.一行只包含数组的一个元素.我注意到这是json文件存储的方式,对我来说它只是工作

>>>for line in open('file.json','r').readline():
...    do something with(line) 

Answer 1

你想要一个增量的json解析器,比如yajl和它的一个python绑定.增量解析器从输入中尽可能少地读取,并在解码有意义的内容时调用回调.例如,要仅从大型json文件中提取数字:

class ContentHandler(YajlContentHandler):
    def yajl_number(self, ctx, val):
         list_of_numbers.append(float(val))

parser = YajlParser(ContentHandler())
parser.parse(some_file)

有关详细信息,请参阅http://pykler.github.com/yajl-py/.

Answer 2

我发现了另一个围绕yajl库的 python 包装器，它是ijson。

由于以下原因，它比yajl-py对我来说效果更好：

• yajl-py 在我的系统上没有检测到 yajl 库，我必须破解代码才能使其工作
• ijson代码更紧凑，更容易使用
• ijson 可以与 yajl v1 和 yajl v2 一起使用，甚至有纯 python yajl 替代品
• ijson 有非常好的 ObjectBuilder，它不仅有助于从解析的流中提取事件，还可以在您指定的级别提取有意义的子对象