Elasticsearch:按字母顺序排序西班牙语双重名称

Question

我正在进行Elasticsearch查询,我希望按姓氏的字母顺序排序结果.我的问题:姓氏都是西班牙语的双重名称,而ES并没有按照我希望的方式对它们进行排序.我希望订单是:

Batres Rivera
Batrín Chojoj
Fion Morales
Lopez Giron
Martinez Castellanos
Milán Casanova

这是我的查询:

{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "Last Name": {
        "order": "asc"
      }
    }
  ]
}

我得到的顺序是:

Batres Rivera
Batrín Chojoj
Milán Casanova
Martinez Castellanos
Fion Morales
Lopez Giron

所以它不是按第一个字符串排序,而是由两者中的任何一个排序(Batres,Batrín,Casanova,Castellanos,Fion,Giron).
如果我再试一次

{
    "order": "asc",
    "mode": "max"
}

然后我得到:

Batrín Chojoj
Lopez Giron
Martinez Castellanos
Milán Casanova
Fion Morales
Batres Rivera

默认为所有字段编制索引,我查看了

curl -XGET localhost/my_index/_mapping 

然后我回来了

my_index: {
    my_type: {
        properties: {
            FirstName: {
                type: string
            }LastName: {
                type: string
            }MiddleName: {
                type: string
            }
            ...
        }
    }
}

有谁知道如何通过姓氏的起始字符串按顺序按字母顺序排序结果？

谢谢!

Answer 1

问题是您的LastName字段被分析,因此字符串Batres Rivera被索引为具有两个术语的多值字段:batres和rivera.但这不像一个有序的数组,它更像是一个"价值包".因此,当您尝试对字段进行排序时,它会选择其中一个术语(min或max)并对其进行排序.

您需要做的是将字段存储LastName为单个term(Batres Rivera)以进行排序,方法是将字段映射为

{ "type": "string", "index": "not_analyzed"}

显然,您无法将该字段用于搜索目的:您将无法rivera在该字段上搜索和匹配.

支持搜索和排序的方法是使用多字段:即以两种方式索引相同的值,一个用于搜索,一个用于排序.

在0.90.*中,多字段的语法是:

curl -XPUT "http://localhost:9200/my_index" -d'
{
   "mappings": {
      "my_type": {
         "properties": {
            "LastName": {
               "type": "multi_field",
               "fields": {
                  "LastName": {
                     "type": "string"
                  },
                  "raw": {
                     "type": "string",
                     "index": "not_analyzed"
                  }
               }
            }
         }
      }
   }
}'

在1.0.*中,multi_field类型已被删除,现在任何核心字段类型都支持子字段,如下所示:

curl -XPUT "http://localhost:9200/my_index" -d'
{
   "mappings": {
      "my_type": {
         "properties": {
            "LastName": {
               "type": "string",
               "fields": {
                  "raw": {
                     "type": "string",
                     "index": "not_analyzed"
                  }
               }
            }
         }
      }
   }
}'

因此,您可以使用该LastName字段进行搜索,并使用该LastName.raw字段进行排序:

curl -XGET "http://localhost:9200/my_index/my_type/_search" -d'
{
   "query": {
      "match": {
         "LastName": "rivera"
      }
   },
   "sort": "LastName.raw"
}'

语言特定排序

您还应该考虑使用ICU分析插件来使用西班牙语排序顺序(或排序规则)进行排序.这有点复杂但值得使用:

curl -XPUT "http://localhost:9200/my_index" -d'
{
   "settings": {
      "analysis": {
         "analyzer": {
            "folding": {
               "type": "custom",
               "tokenizer": "icu_tokenizer",
               "filter": [
                  "icu_folding"
               ]
            },
            "es_sorting": {
               "type": "custom",
               "tokenizer": "keyword",
               "filter": [
                  "lowercase",
                  "spanish"
               ]
            }
         },
         "filter": {
            "spanish": {
               "type": "icu_collation",
               "language": "es"
            }
         }
      }
   },
   "mappings": {
      "my_type": {
         "properties": {
            "LastName": {
               "type": "string",
               "analyzer": "folding", 
               "fields": {
                  "raw": {
                     "type": "string",
                     "analyzer": "es_sorting"
                  }
               }
            }
         }
      }
   }
}'

我们创建了一个folding我们将用于该LastName字段的分析器,它将分析字符串,如Muñoz Rivera两个术语munoz(没有~)和rivera.因此用户可以搜索munoz或者muñoz匹配.

然后我们创建了一个es_sorting分析器,它为muñoz rivera西班牙语中的(小写)索引正确的排序顺序.

搜索将以相同的方式完成:

curl -XGET "http://localhost:9200/my_index/my_type/_search" -d'
{
   "query": {
      "match": {
         "LastName": "rivera"
      }
   },
   "sort": "LastName.raw"
}'