检测JSON String Golang中的重复项

Question

我有JSON字符串之类的

"{\"a\": \"b\", \"a\":true,\"c\":[\"field_3 string 1\",\"field3 string2\"]}"

如何使用Golang检测此json字符串中的重复属性

Answer 1

使用json.Decoder来浏览JSON.找到对象时,遍历键和值检查重复键.

func check(d *json.Decoder, path []string) error {
    // Get next token from JSON
    t, err := d.Token()
    if err != nil {
        return err
    }

    delim, ok := t.(json.Delim)

    // There's nothing to do for simple values (strings, numbers, bool, nil)
    if !ok {
        return nil
    }

    switch delim {
    case '{':
        keys := make(map[string]bool)
        for d.More() {
            // Get field key
            t, err := d.Token()
            if err != nil {
                return err
            }
            key := t.(string)

            // Check for duplicates
            if keys[key] {
                fmt.Printf("Duplicate %s\n", strings.Join(append(path, key), "/"))
            }
            keys[key] = true

            // Check value
            if err := check(d, append(path, key)); err != nil {
                return err
            }
        }
        // Consume trailing }
        if _, err := d.Token(); err != nil {
            return err
        }

    case '[':
        i := 0
        for d.More() {
            if err := check(d, append(path, strconv.Itoa(i))); err != nil {
                return err
            }
            i++
        }
        // Consume trailing ]
        if _, err := d.Token(); err != nil {
            return err
        }

    }
    return nil
}

以下是如何调用它:

data := `{"a": "b", "a":true,"c":["field_3 string 1","field3 string2"], "d": {"e": 1, "e": 2}}`
if err := check(json.NewDecoder(strings.NewReader(data)), nil); err != nil {
    log.Fatal(err)
}

输出是:

Duplicate a
Duplicate d/e

在Playground上运行它

Answer 2

一种可能效果很好的方法是简单地解码、重新编码，然后对照旧 json 检查新 json 的长度：

https://play.golang.org/p/50P-x1fxCzp

package main

import (
  "encoding/json"
  "fmt"
)

func main() {
  jsn := []byte("{\"a\": \"b\", \"a\":true,\"c\":[\"field_3 string 1\",\"field3 string2\"]}")
  var m map[string]interface{}
  err := json.Unmarshal(jsn, &m)
  if err != nil {
      panic(err)
  }
        l := len(jsn)
        jsn, err = json.Marshal(m)
  if err != nil {
      panic(err)
  }
  if l != len(jsn) {
      panic(fmt.Sprintf("%s: %d (%d)", "duplicate key", l, len(jsn)))
  }
}

正确的方法是重新实现该json.Decode函数，并存储找到的键映射，但上面的方法应该可以工作（特别是如果您首先使用 json 从 json 中删除任何空格jsn = bytes.Replace(jsn, []byte(" "), []byte(""), -1)以防止误报。