如何使用jq完全排序任意JSON？

Question

我想区分两个JSON文本文件.不幸的是,它们是按任意顺序构造的,所以当它们在语义上相同时我会得到差异.我想使用jq(或其他)以任何类型的完整顺序对它们进行排序,以消除仅因元素排序而产生的差异.

--sort-keys解决了一半问题,但它没有对数组进行排序.

我对jq一无所知,不知道如何编写一个保存所有数据的jq递归过滤器; 任何帮助,将不胜感激.

我意识到逐行'diff'输出不一定是比较两个复杂对象的最佳方式,但在这种情况下我知道这两个文件非常相似(几乎相同)并且逐行差异很好为了我的目的.

使用jq或替代命令行工具来区分JSON文件会回答一个非常相似的问题,但不会打印差异.另外,我想保存排序结果,所以我真正想要的只是一个排序JSON的过滤程序.

Answer 1

这是一个使用泛型函数sorted_walk/1的解决方案(因为下面的后记中描述的原因而命名).

normalize.jq:

# Apply f to composite entities recursively using keys[], and to atoms
def sorted_walk(f):
  . as $in
  | if type == "object" then
      reduce keys[] as $key
        ( {}; . + { ($key):  ($in[$key] | sorted_walk(f)) } ) | f
  elif type == "array" then map( sorted_walk(f) ) | f
  else f
  end;

def normalize: sorted_walk(if type == "array" then sort else . end);

normalize

使用bash的示例:

diff <(jq -S -f normalize.jq FILE1) <(jq -S -f normalize.jq FILE2)

POSTSCRIPT:walk/1在首次发布此响应后修改了内置定义:它现在使用keys_unsorted而不是keys.

Answer 2

我想区分两个JSON文本文件.

使用jd与-set选项:

没有输出意味着没有区别.

$ jd -set A.json B.json

差异显示为@路径和+或 - .

$ jd -set A.json C.json

@ ["People",{}]
+ "Carla"

输出差异也可以用作带有-p选项的补丁文件.

$ jd -set -o patch A.json C.json; jd -set -p patch B.json

{"City":"Boston","People":["John","Carla","Bryan"],"State":"MA"}

https://github.com/josephburnett/jd#command-line-usage

Answer 3

我只是需要这个，并且不想定义一堆函数，因为我希望这是一个简单的衬里。幸运的是，以下工作得到了解决：

jq -S 'walk(if type == "array" then sort else . end)'

这是一个例子：

$ echo '{"foo":"bar","zzz":true,"list":["a","c","b",{"nested":[1,3,2]}]}' |
  jq -S 'walk(if type == "array" then sort else . end)'
{
  "foo": "bar",
  "list": [
    "a",
    "b",
    "c",
    {
      "nested": [
        1,
        2,
        3
      ]
    }
  ],
  "zzz": true
}