如何使用ElasticSearch搜索单词的一部分

Question

我最近开始使用ElasticSearch,我似乎无法让它搜索一个单词的一部分.

示例:我在我的couchdb中有三个索引在ElasticSearch中索引的文档:

{
  "_id" : "1",
  "name" : "John Doeman",
  "function" : "Janitor"
}
{
  "_id" : "2",
  "name" : "Jane Doewoman",
  "function" : "Teacher"
}
{
  "_id" : "3",
  "name" : "Jimmy Jackal",
  "function" : "Student"
} 

所以现在,我想搜索包含"Doe"的所有文件

curl http://localhost:9200/my_idx/my_type/_search?q=Doe

这不会返回任何命中.但是,如果我搜索

curl http://localhost:9200/my_idx/my_type/_search?q=Doeman

它确实返回一个文件(John Doeman).

我尝试过设置不同的分析器和不同的过滤器作为索引的属性.我也试过使用完整的查询(例如:

{
  "query": {
    "term": {
      "name": "Doe"
    }
  }
}

但似乎没有任何作用.

当我搜索"Doe"时,如何让ElasticSearch找到John Doeman和Jane Doewoman？

UPDATE

我尝试使用nGram标记器和过滤器,就像Igor提出的那样,如下所示:

{
  "index": {
    "index": "my_idx",
    "type": "my_type",
    "bulk_size": "100",
    "bulk_timeout": "10ms",
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer",
          "filter": [
            "my_ngram_filter"
          ]
        }
      },
      "filter": {
        "my_ngram_filter": {
          "type": "nGram",
          "min_gram": 1,
          "max_gram": 1
        }
      },
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "nGram",
          "min_gram": 1,
          "max_gram": 1
        }
      }
    }
  }
}

我现在遇到的问题是每个查询都返回所有文档.有什么指针吗？关于使用nGram的ElasticSearch文档并不是很好......

Answer 1

我也在使用nGram.我使用标准tokenizer和nGram作为过滤器.这是我的设置:

{
  "index": {
    "index": "my_idx",
    "type": "my_type",
    "analysis": {
      "index_analyzer": {
        "my_index_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "mynGram"
          ]
        }
      },
      "search_analyzer": {
        "my_search_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "standard",
            "lowercase",
            "mynGram"
          ]
        }
      },
      "filter": {
        "mynGram": {
          "type": "nGram",
          "min_gram": 2,
          "max_gram": 50
        }
      }
    }
  }
}

让我们找到最多50个字母的单词部分.根据需要调整max_gram.在德语中,单词可以变得非常大,所以我将其设置为高价值.

Answer 2

使用前导和尾随通配符进行搜索对于大型索引来说会非常慢.如果您希望能够通过单词前缀进行搜索,请删除前导通配符.如果你真的需要在一个单词的中间找到一个子字符串,那么你最好使用ngram tokenizer.

Answer 3

我认为没有必要改变任何映射.尝试使用query_string,它是完美的.所有方案都适用于默认的标准分析器:

我们有数据:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

场景1:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*Doe*"}
} }

响应:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

场景2:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*Jan*"}
} }

响应:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}

场景3:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*oh* *oe*"}
} }

响应:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

编辑 - 弹簧数据弹性搜索的相同实现 /sf/answers/3050596391/

还有一个解释是query_string如何比其他更好解决 /sf/answers/3032512451/

Answer 4

在不更改索引映射的情况下,您可以执行简单的前缀查询,该查询将执行您希望的部分搜索

即.

{
  "query": { 
    "prefix" : { "name" : "Doe" }
  }
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-prefix-query.html

Answer 5

虽然有很多答案都专注于解决手头的问题，但没有过多讨论人们在选择特定答案之前需要做出的各种权衡。因此，让我尝试在这个角度上添加更多细节。

部分搜索现在是一个非常常见和重要的功能，如果实施不当可能会导致糟糕的用户体验和糟糕的性能，所以首先要了解与此功能相关的应用程序功能和非功能需求，我在这篇详细介绍中谈到了这一点。所以回答。

现在有多种方法，例如查询时间、索引时间、完成建议器和在您键入最新版本的 elasticsarch 中添加的数据类型时进行搜索。

现在，想要快速实施解决方案的人们可以使用以下端到端工作解决方案。

索引映射

{
  "settings": {
    "analysis": {
      "filter": {
        "autocomplete_filter": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 10
        }
      },
      "analyzer": {
        "autocomplete": { 
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "autocomplete_filter"
          ]
        }
      }
    },
    "index.max_ngram_diff" : 10
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "autocomplete", 
        "search_analyzer": "standard" 
      }
    }
  }
}

给定示例文档的索引

{
  "title" : "John Doeman"
  
}

{
  "title" : "Jane Doewoman"
  
}

{
  "title" : "Jimmy Jackal"
  
}

以及搜索查询

{
    "query": {
        "match": {
            "title": "Doe"
        }
    }
}

返回预期的搜索结果

 "hits": [
            {
                "_index": "6467067",
                "_type": "_doc",
                "_id": "1",
                "_score": 0.76718915,
                "_source": {
                    "title": "John Doeman"
                }
            },
            {
                "_index": "6467067",
                "_type": "_doc",
                "_id": "2",
                "_score": 0.76718915,
                "_source": {
                    "title": "Jane Doewoman"
                }
            }
        ]

Answer 6

尝试使用以下描述的解决方案：ElasticSearch中的确切子字符串搜索

{
    "mappings": {
        "my_type": {
            "index_analyzer":"index_ngram",
            "search_analyzer":"search_ngram"
        }
    },
    "settings": {
        "analysis": {
            "filter": {
                "ngram_filter": {
                    "type": "ngram",
                    "min_gram": 3,
                    "max_gram": 8
                }
            },
            "analyzer": {
                "index_ngram": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": [ "ngram_filter", "lowercase" ]
                },
                "search_ngram": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": "lowercase"
                }
            }
        }
    }
}

为了解决磁盘使用问题和搜索词太长的问题，使用了短的8个字符长的ngram（配置为：“ max_gram”：8）。要搜索包含8个以上字符的字词，请将搜索结果转换为布尔AND查询，以查找该字符串中每个不同的8个字符的子字符串。例如，如果用户搜索了大码（10个字符的字符串），则搜索将是：

”“ arge ya and arge yar and rge yard。

Answer 7

我正在使用这个并开始工作

"query": {
        "query_string" : {
            "query" : "*test*",
            "fields" : ["field1","field2"],
            "analyze_wildcard" : true,
            "allow_leading_wildcard": true
        }
    }