比较两个 jsons 文件和产生的 json 差异

Question

我正在尝试比较两个文件，每一行都是 JSON 格式。我需要比较两个文件之间的每一行，并应该返回差异。由于文件太大，我无法读取和比较每一行。请建议我一些优化的方法。

Answer 1

两种可能的方式：

1. 使用 Josh 发表的评论中提到的技术。
2. 使用这里提到的技术： how to Compare 2 json in python。

鉴于您有一个大文件，您最好使用第 1 点中描述的 difflib 技术。

根据对我的以下答案的回复进行编辑：

经过一些研究，处理大数据有效负载的最佳方法似乎是以流式方式处理此有效负载。通过这种方式，我们可以确保快速处理数据，同时牢记软件的内存使用情况和性能。

请参阅此链接，其中讨论了使用 Python 流式传输 JSON 数据对象。同样看一下ijson - 这是 python 中基于迭代器的 JSON 解析/处理库。

希望这可以帮助您找到一个合适的库来解决您的用例