Elasticsearch 自定义分析器，带有 ngram，连字符上没有单词分隔符

Question

我正在尝试索引包含连字符但不包含空格、句点或任何其他标点符号的字符串。我不想根据连字符分割单词，而是希望连字符成为索引文本的一部分。

例如，我的 6 个文本字符串是：

• 杂志播放
• 马杂志
• 在线杂志
• 最佳杂志
• 杂志之友
• 杂志玩游戏

我希望能够在这些字符串中搜索包含 "play" 的文本或以 "magazine" 开头的文本。

我已经能够使用ngram使包含“play”的文本正常工作。但是，连字符导致文本分割，并且它包含连字符后面的单词中“杂志”的结果。我只希望出现以“magazine”开头的字符串。

根据上面的示例，当以“magazine”开头时，只有这 3 个应该出现：

• 杂志播放
• 马杂志
• 杂志玩游戏

请帮助我的 ElasticSearch 索引示例：

DELETE /sample

PUT /sample
{
    "settings": {
        "index.number_of_shards":5,
        "index.number_of_replicas": 0,
        "analysis": {
            "filter": {
                "nGram_filter": {
                   "type": "nGram",
                   "min_gram": 2,
                   "max_gram": 20,
                   "token_chars": [
                      "letter",
                      "digit"
                   ]
                },
                "word_delimiter_filter": {
                    "type": "word_delimiter",
                    "preserve_original": true,
                    "catenate_all" : true
                }
             },
          "analyzer": {
            "ngram_index_analyzer": {
              "type" : "custom",
              "tokenizer": "lowercase",
              "filter" : ["nGram_filter", "word_delimiter_filter"]
            }
          }
        }
    }
}
PUT /sample/1/_create
{
    "name" : "magazineplayon"
}
PUT /sample/3/_create
{
    "name" : "magazineofhorses"
}
PUT /sample/4/_create
{
    "name" : "online-magazine"
}
PUT /sample/5/_create
{
    "name" : "best-magazine"
}
PUT /sample/6/_create
{
    "name" : "friend-of-magazines"
}
PUT /sample/7/_create
{
    "name" : "magazineplaygames"
}

GET /sample/_search
{
"query": {
        "wildcard": {
          "name": "*play*" 
        }
    }
}

GET /sample/_search
{
"query": {
        "wildcard": {
          "name": "magazine*" 
        }
    }
}

更新 1 我更新了所有创建语句以在示例后使用 TEST：

PUT /sample/test/7/_create
{
    "name" : "magazinefairplay"
}

然后，我运行以下命令以仅返回其中包含“play”一词的名称，而不是进行通配符搜索。这工作正常并且只返回两条记录。

POST /sample/test/_search
{
    "query": {
        "bool": {
            "minimum_should_match": 1,
            "should": [
                {"match": { "name.substrings": "play" }}
            ]
        }
    }
}

我运行以下命令仅返回以“magazine”开头的名称。我的预期是“在线杂志”、“最佳杂志”和“杂志之友”不会出现。然而，包括这三项在内，所有七项记录均被退回。

POST /sample/test/_search
{
    "query": {
        "bool": {
            "minimum_should_match": 1,
            "should": [
                {"match": { "name.prefixes": "magazine" }}
            ]
        }
    }
}

有没有办法过滤掉使用连字符的前缀？

Answer 1

您走在正确的道路上，但是，您还需要添加另一个利用edge-ngram令牌过滤器的分析器，以使“开头为”约束起作用。您可以保留ngram用于检查“包含”给定单词的字段，但您需要edge-ngram检查字段是否“以”某个标记开头。

PUT /sample
{
  "settings": {
    "index.number_of_shards": 5,
    "index.number_of_replicas": 0,
    "analysis": {
      "filter": {
        "nGram_filter": {
          "type": "nGram",
          "min_gram": 2,
          "max_gram": 20,
          "token_chars": [
            "letter",
            "digit"
          ]
        },
        "edgenGram_filter": {
          "type": "edgeNGram",
          "min_gram": 2,
          "max_gram": 20
        }
      },
      "analyzer": {
        "ngram_index_analyzer": {
          "type": "custom",
          "tokenizer": "keyword",
          "filter": [
            "lowercase",
            "nGram_filter"
          ]
        },
        "edge_ngram_index_analyzer": {
          "type": "custom",
          "tokenizer": "keyword",
          "filter": [
            "lowercase",
            "edgenGram_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "test": {
      "properties": {
        "name": {
          "type": "string",
          "fields": {
            "prefixes": {
              "type": "string",
              "analyzer": "edge_ngram_index_analyzer",
              "search_analyzer": "standard"
            },
            "substrings": {
              "type": "string",
              "analyzer": "ngram_index_analyzer",
              "search_analyzer": "standard"
            }
          }
        }
      }
    }
  }
}

那么你的查询将变成（即搜索name字段包含play或以 开头的所有文档magazine）

POST /sample/test/_search
{
    "query": {
        "bool": {
            "minimum_should_match": 1,
            "should": [
                {"match": { "name.substrings": "play" }},
                {"match": { "name.prefixes": "magazine" }}
            ]
        }
    }
}

注意：不要用于wildcard搜索子字符串，因为它会降低集群的性能（更多信息请参见此处和此处）