ElasticSearch-搜索人名

我有一个很大的姓名数据库，主要来自苏格兰。我们目前正在生产一个原型，以取代现有的一个执行搜索的软件。这仍在生产中，我们的目标是让我们的结果尽可能接近相同搜索的当前结果

我希望有人能帮我，我正在进入弹性搜索，查询是“迈克尔·希尼”，我得到一些疯狂的结果。当前搜索返回两个主要姓氏，它们是“Heaney”和“Heavey”，所有姓氏的名字都是“Michael”，我可以在弹性搜索中获得“Heaney”结果，但是我无法获得“Heavey”，ES也返回不姓“Michael”的人，不过我很欣赏这是因为这是模糊查询的一部分。我知道这是一个狭隘的用例，因为这只是一个搜索，但得到这个结果并知道如何获得它会有所帮助

谢谢

映射

{
   "jr": {
    "_all": {
        "enabled": true,
        "index_analyzer": "index_analyzer",
        "search_analyzer": "search_analyzer"
    },
    "properties": {
        "pty_forename": {
            "type": "string",
            "index": "analyzed",
            "boost": 2,
            "index_analyzer": "index_analyzer",
            "search_analyzer": "search_analyzer",
            "store": "yes"
        },
        "pty_full_name": {
            "type": "string",
            "index": "analyzed",
            "boost": 4,
            "index_analyzer": "index_analyzer",
            "search_analyzer": "search_analyzer",
            "store": "yes"
        },
        "pty_surname": {
            "type": "string",
            "index": "analyzed",
            "boost": 4,
            "index_analyzer": "index_analyzer",
            "search_analyzer": "search_analyzer",
            "store": "yes"
        }
     }
   }
}'

索引设置

{
  "settings": {
    "number_of_shards": 2,
    "number_of_replicas": 0,
    "analysis": {
        "analyzer": {
            "index_analyzer": {
                "tokenizer": "standard",
                "filter": [
                    "standard",
                    "my_delimiter",
                    "lowercase",
                    "stop",
                    "asciifolding",
                    "porter_stem",
                    "my_metaphone"
                ]
            },
            "search_analyzer": {
                "tokenizer": "standard",
                "filter": [
                    "standard",
                    "my_metaphone",
                    "synonym",
                    "lowercase",
                    "stop",
                    "asciifolding",
                    "porter_stem"
                ]
            }
        },
        "filter": {
            "synonym": {
                "type": "synonym",
                "synonyms_path": "synonyms/synonyms.txt"
            },
            "my_delimiter": {
                "type": "word_delimiter",
                "generate_word_parts": true,
                "catenate_words": false,
                "catenate_numbers": false,
                "catenate_all": false,
                "split_on_case_change": false,
                "preserve_original": false,
                "split_on_numerics": false,
                "stem_english_possessive": false
            },
            "my_metaphone": {
                "type": "phonetic",
                "encoder": "metaphone",
                "replace": false
            }
        }
     }
   }
}'

模糊

{
"from":0, "size":100,
"query": {
    "bool": {
        "should": [
            {
                "fuzzy": {
                    "pty_surname": {
                        "min_similarity": 0.2,
                        "value": "Heaney",
                        "prefix_length": 0,
                        "boost": 5
                    }
                }
            },
            {
                "fuzzy": {
                    "pty_forename": {
                        "min_similarity": 1,
                        "value": "Michael",
                        "prefix_length": 0,
                        "boost": 1
                    }
                }
            }
        ]
     }
  }
}

---

首先，我在游戏中重新创建了您当前的配置：

如果您转到此处，请切换到“分析”选项卡以查看文本的转换方式：

注意，例如，

search\u analyzer

将

Heaney

标记为

[hn，heanei]

，将

索引\u analyzer

标记为

[hn，heanei]

。注意变音词的大小写差异。因此，这一点是不匹配的

模糊查询不进行查询时间文本分析。因此，您最终将

Heavey

与

heanei

进行比较。这比参数允许的时间长

您真正想做的是使用

match

的模糊功能。Match进行查询时文本分析，并具有模糊性参数

至于

的模糊性

，这在Lucene 4中有所改变。以前，它通常被指定为浮点。现在，应将其指定为允许的距离。有一个未完成的请求来澄清：

你之所以让人们没有名字叫迈克尔，是因为你在做一件事。这是一个逻辑或语义。一场比赛就足够了，但得分越高越好

最后，将所有过滤合并到同一术语中并不一定是最佳方法。例如，您无法知道并提高精确拼写。您应该考虑使用A以多种方式处理字段。

，使用下面的curl命令重新创建它。不过，我会完全跳过使用“波特”词干分析器。我留着它只是为了展示multi_field是如何工作的。使用匹配、模糊匹配和语音匹配的组合应该能让你走得更远。（在进行语音匹配时，请确保不允许模糊性，否则将得到无用的模糊匹配。：-）

---

谢谢你，亚历克斯。让我想一想这些情况，我会向你汇报的。答案看起来非常详尽。我们刚刚发表了一篇关于模糊搜索的文章，这篇文章可能也很有意思：威尔会将其加入书签。非常感谢你的帮助，我学到了很多。我不明白你为什么需要“应该”和“布尔”这两层？所有的都找到了。没有链接是死的

#!/bin/bash

export ELASTICSEARCH_ENDPOINT="http://localhost:9200"

# Create indexes

curl -XPUT "$ELASTICSEARCH_ENDPOINT/play" -d '{
    "settings": {
        "analysis": {
            "text": [
                "Michael",
                "Heaney",
                "Heavey"
            ],
            "analyzer": {
                "metaphone": {
                    "type": "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "my_metaphone"
                    ]
                },
                "porter": {
                    "type": "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "lowercase",
                        "porter_stem"
                    ]
                }
            },
            "filter": {
                "my_metaphone": {
                    "encoder": "metaphone",
                    "replace": false,
                    "type": "phonetic"
                }
            }
        }
    },
    "mappings": {
        "jr": {
            "properties": {
                "pty_surename": {
                    "type": "multi_field",
                    "fields": {
                        "pty_surename": {
                            "type": "string",
                            "analyzer": "simple"
                        },
                        "metaphone": {
                            "type": "string",
                            "analyzer": "metaphone"
                        },
                        "porter": {
                            "type": "string",
                            "analyzer": "porter"
                        }
                    }
                }
            }
        }
    }
}'


# Index documents
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_bulk?refresh=true" -d '
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heaney"}
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heavey"}
'

# Do searches

curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
    "query": {
        "bool": {
            "should": [
                {
                    "bool": {
                        "should": [
                            {
                                "match": {
                                    "pty_surname": {
                                        "query": "heavey"
                                    }
                                }
                            },
                            {
                                "match": {
                                    "pty_surname": {
                                        "query": "heavey",
                                        "fuzziness": 1
                                    }
                                }
                            },
                            {
                                "match": {
                                    "pty_surename.metaphone": {
                                        "query": "heavey"
                                    }
                                }
                            },
                            {
                                "match": {
                                    "pty_surename.porter": {
                                        "query": "heavey"
                                    }
                                }
                            }
                        ]
                    }
                }
            ]
        }
    }
}
'